Het grote zuinige server topic - deel 3

[bjp]

Guldan schreef op maandag 6 januari 2025 @ 12:27:
ik heb de hoge c states en alle aspm settings staan zoals aanbevolen in dit topic (er is ergens een asrock settings post). Zonder de kvm scheelt het een paar watt maar niet heel veel. ik ga zonder de nanokvm en de scaling govemor op powersafe nu naar 21.5w.

de R8169 of zo (default) heeft geen degelijke ASPM, en moet je deze "forceren" (maar niet ideaal).

gebruik je de R8125 DKMS driver? (deze heeft wel ASPM).

[Guldan]

Mich schreef op maandag 6 januari 2025 @ 12:58:
[...]


Ik zou sowieso proberen 2.15 draaiend te krijgen.

Wat geeft dit commando voor resultaat?

code:

lspci -vv | awk '/ASPM/{print $0}' RS= | grep --color -P '(^[a-z0-9:.]+|ASPM )'

en

code:

cat /sys/module/pcie_aspm/parameters/policy

en

code:

/sys/devices/system/cpu/cpu*/cpufreq/scaling_governor

Het aspm commande geeft dit:

code:

00:06.0 PCI bridge: Intel Corporation 12th Gen Core Processor PCI Express x4 Controller #0 (rev 02) (prog-if 00 [Normal decode])
                LnkCap: Port #5, Speed 16GT/s, Width x4, ASPM L0s, Exit Latency L0s <4us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
00:1c.0 PCI bridge: Intel Corporation Device 7a3c (rev 11) (prog-if 00 [Normal decode])
                LnkCap: Port #5, Speed 16GT/s, Width x4, ASPM L1, Exit Latency L1 <64us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
00:1d.0 PCI bridge: Intel Corporation Device 7a36 (rev 11) (prog-if 00 [Normal decode])
                LnkCap: Port #15, Speed 16GT/s, Width x1, ASPM L1, Exit Latency L1 <64us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
01:00.0 Non-Volatile memory controller: KIOXIA Corporation Exceria Pro NVMe SSD (rev 01) (prog-if 02 [NVM Express])
                LnkCap: Port #0, Speed 16GT/s, Width x4, ASPM L1, Exit Latency L1 <64us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
pcilib: sysfs_read_vpd: read failed: No such device
02:00.0 Non-Volatile memory controller: Sandisk Corp WD Black SN770 NVMe SSD (rev 01) (prog-if 02 [NVM Express])
                LnkCap: Port #0, Speed 16GT/s, Width x4, ASPM L1, Exit Latency L1 <8us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
03:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8125 2.5GbE Controller (rev 05)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L0s L1, Exit Latency L0s unlimited, L1 <64us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+

De 2e het volgende:

code:

root@azeroth:~# cat /sys/module/pcie_aspm/parameters/policy
[default] performance powersave powersupersave

Het laatste commande geeft terug:

code:

 performance powersave

Die laatste ben ik al mee aan het wisselen geweest.

[Mars Warrior]

Guldan schreef op maandag 6 januari 2025 @ 14:28:
[...]
Het aspm commande geeft dit:

code:

00:06.0 PCI bridge: Intel Corporation 12th Gen Core Processor PCI Express x4 Controller #0 (rev 02) (prog-if 00 [Normal decode])
                LnkCap: Port #5, Speed 16GT/s, Width x4, ASPM L0s, Exit Latency L0s <4us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
00:1c.0 PCI bridge: Intel Corporation Device 7a3c (rev 11) (prog-if 00 [Normal decode])
                LnkCap: Port #5, Speed 16GT/s, Width x4, ASPM L1, Exit Latency L1 <64us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
00:1d.0 PCI bridge: Intel Corporation Device 7a36 (rev 11) (prog-if 00 [Normal decode])
                LnkCap: Port #15, Speed 16GT/s, Width x1, ASPM L1, Exit Latency L1 <64us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
01:00.0 Non-Volatile memory controller: KIOXIA Corporation Exceria Pro NVMe SSD (rev 01) (prog-if 02 [NVM Express])
                LnkCap: Port #0, Speed 16GT/s, Width x4, ASPM L1, Exit Latency L1 <64us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
pcilib: sysfs_read_vpd: read failed: No such device
02:00.0 Non-Volatile memory controller: Sandisk Corp WD Black SN770 NVMe SSD (rev 01) (prog-if 02 [NVM Express])
                LnkCap: Port #0, Speed 16GT/s, Width x4, ASPM L1, Exit Latency L1 <8us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
03:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8125 2.5GbE Controller (rev 05)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L0s L1, Exit Latency L0s unlimited, L1 <64us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+

De 2e het volgende:

code:

root@azeroth:~# cat /sys/module/pcie_aspm/parameters/policy
[default] performance powersave powersupersave

Het laatste commande geeft terug:

code:

 performance powersave

Die laatste ben ik al mee aan het wisselen geweest.

Zowel de KIOXIA ssd als de realtek nic hebben ASPM dus disabled staan. Niet zo gek dat hoge C-states niet werken…

[Guldan]

Mars Warrior schreef op maandag 6 januari 2025 @ 14:31:
[...]

Zowel de KIOXIA ssd als de realtek nic hebben ASPM dus disabled staan. Niet zo gek dat hoge C-states niet werken…

Een controle vraag van mijn kant, zoals ik de output interpreteer is, de configuratie is wel ok (qua bios etc), maar de hardware pakt het niet op?

[RobertMe]

Guldan schreef op maandag 6 januari 2025 @ 14:43:
[...]


Een controle vraag van mijn kant, zoals ik de output interpreteer is, de configuratie is wel ok (qua bios etc), maar de hardware pakt het niet op?

Of de software pakt het niet op Zoals @bjp hierboven aangeeft doet de standaard (/ingebakken) Realtek driver geen ASPM maar is er ook een nieuwere (out of tree) driver (specifiek voor dit model NIC?) die wel ASPM doet.

V.w.b. de SSD durf ik niet te zeggen. Wat ik hier wel vaker heb gelezen is dat een NVME drive in het PEG slot, dat direct aan de CPU hangt, lagere C-states voorkomt, en dat het "tweede" M.2 slot aan de chipset hangt en daarmee wel de lagere C-states worden gehaald. Dat zou je dus ook kunnen proberen?

[Jerie]

mrmrmr schreef op zondag 5 januari 2025 @ 20:02:

Als je een bedrijf hebt kun je bij een groothandel in electronicaonderdelen een aanschaf doen. Bijvoorbeeld Mouser of Farnell. Farnell accepteert ook consumenten.

Nog nooit van Farnell gehoord maar Mouser en Digikey accepteren ook gewoon consumenten.

[Guldan]

Goed ik ben weer wat verder. Ik heb het volgende gedaan:

1) ssd omgewisseld en gekeken of de aspm op enabled kwam (check)

2) ik heb de realtek driver uitgewisseld voor de 8125-dkms. Ik ben geen expert maar vond deze handige instructie: https://blog.kumo.dev/202...ltek_drivers_proxmox.html


Als ik dan het commande draai dan zie ik:

code:

00:1a.0 PCI bridge: Intel Corporation Raptor Lake PCI Express Root Port (rev 11) (prog-if 00 [Normal decode])
                LnkCap: Port #25, Speed 16GT/s, Width x4, ASPM L1, Exit Latency L1 <64us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
00:1c.0 PCI bridge: Intel Corporation Device 7a3c (rev 11) (prog-if 00 [Normal decode])
                LnkCap: Port #5, Speed 16GT/s, Width x4, ASPM L1, Exit Latency L1 <64us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
00:1d.0 PCI bridge: Intel Corporation Device 7a36 (rev 11) (prog-if 00 [Normal decode])
                LnkCap: Port #15, Speed 16GT/s, Width x1, ASPM L1, Exit Latency L1 <64us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
pcilib: sysfs_read_vpd: read failed: No such device
01:00.0 Non-Volatile memory controller: KIOXIA Corporation Exceria Pro NVMe SSD (rev 01) (prog-if 02 [NVM Express])
                LnkCap: Port #0, Speed 16GT/s, Width x4, ASPM L1, Exit Latency L1 <64us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
02:00.0 Non-Volatile memory controller: Sandisk Corp WD Black SN770 NVMe SSD (rev 01) (prog-if 02 [NVM Express])
                LnkCap: Port #0, Speed 16GT/s, Width x4, ASPM L1, Exit Latency L1 <8us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
03:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8125 2.5GbE Controller (rev 05)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L0s L1, Exit Latency L0s unlimited, L1 <64us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+

Ik zie nog weinig verschil, zit nu op 20w.

edit: en dan perongeluk op versturen drukken.

[bjp]

Guldan schreef op maandag 6 januari 2025 @ 15:38:

2) ik heb de realtek driver uitgewisseld voor de 8125-dkms. Ik ben geen expert maar vond deze handige instructie: https://blog.kumo.dev/202...ltek_drivers_proxmox.html

ja dat klopt ongeveer met de stappen dat ik toen gedaan heb. Zeker nakijken na reboot dat je r1825 gebruikt (dmesg | grep r8125).

[Guldan]

@bjp dank voor de tip. Ik vond namelijk in dit topic ook nergens instructies (of ik ben scheel natuurlijk). Ik zal wel in powertop dan WOL in 1 keer aan stond trouwens.

Ik had een oude PSU gepakt (seasonic), nu een FSP flexguru 250w binnengekregen. Verbruik zit nu op 17/19w.

Als er verder mensen nog iedeeen hebben dan hoor ik het graag. Ik lijk nog steeds niet lager dan C3 te komen zegmaar.

[ Voor 16% gewijzigd door Guldan op 06-01-2025 16:01 ]

[bjp]

feitelijk gewoon de github instructies volgen:
https://github.com/awesometic/realtek-r8125-dkms


voor proxmox: zoals voor debian

[ Voor 15% gewijzigd door bjp op 06-01-2025 16:02 ]

[RedRayMann]

Weer een update.
Gisteren op Proxmox de Unifi controller als LXC geïnstalleerd en mijn Unifi netwerk opnieuw ingericht (geen back-up van oude setup)
Daarna AdGuard als LXC geïnstalleerd en ingesteld.
Daarna gespeeld met Nginx Proxy Server

Verbruik bleef redelijk gelijk, iets verhoging.
Van 3,3 watt tot 4 watt naar 4 watt tot 5 watt
Dit vond ik begrijpelijk want het systeem moet ineens iets doen ipv lekker idle zijn.

Maar vannacht om 02:00 uur is het verbruik ineens omhoog geschoten naar 6,5 watt.

Ik heb vanochtend en zojuist de 2,5" HDD gecontroleerd.

code:

root@Odroid:~# hdparm -C /dev/sdc

/dev/sdc:
 drive state is:  standby

Dus die moet geen extra stroom afnemen.

Heb ook in Powertop gekeken, alles staat zoals ik het eerder zag mbt de good/bad regels.

Maar ik zit nu in C3 ipv C8 (PowerTop 2.15 - PKG)

code:

PowerTOP 2.15     Overview   Idle stats   Frequency stats   Device stats   Tunables   WakeUp                            


           Pkg(HW)  |            Core(HW) |            CPU(OS) 0
                    |                     | C0 active   6.0%
                    |                     | POLL        0.0%    0.0 ms
                    |                     | C1E         6.9%    0.4 ms
C2 (pc2)    6.0%    |                     |
C3 (pc3)   49.6%    | C3 (cc3)    0.0%    |
C6 (pc6)    0.0%    | C6 (cc6)   83.4%    | C6         10.5%    0.8 ms
C7 (pc7)    0.0%    | C7 (cc7)   72.8%    |
C8 (pc8)    0.0%    |                     | C8          4.2%    1.2 ms
C9 (pc9)    0.0%    |                     |
C10 (pc10)  0.0%    |                     |
                    |                     | C10        71.0%    6.1 ms

                    |            Core(HW) |            CPU(OS) 1
                    |                     | C0 active  11.3%
                    |                     | POLL        0.0%    0.0 ms
                    |                     | C1E         3.9%    0.3 ms
                    |                     |
                    | C3 (cc3)    0.0%    |
                    | C6 (cc6)   82.4%    | C6         13.5%    0.9 ms
                    | C7 (cc7)   69.2%    |
                    |                     | C8          0.9%    0.8 ms
                    |                     |
                    |                     |
                    |                     | C10        68.7%   11.2 ms

                    |            Core(HW) |            CPU(OS) 2
                    |                     | C0 active   7.6%
                    |                     | POLL        0.0%    0.0 ms
                    |                     | C1E         4.5%    0.4 ms
                    |                     |
                    | C3 (cc3)    0.0%    |
                    | C6 (cc6)   84.1%    | C6         13.1%    0.8 ms
                    | C7 (cc7)   71.0%    |
                    |                     | C8          2.1%    1.4 ms
                    |                     |
                    |                     |
                    |                     | C10        71.0%    6.8 ms

                    |            Core(HW) |            CPU(OS) 3
                    |                     | C0 active   5.3%
                    |                     | POLL        0.0%    0.0 ms
                    |                     | C1E         1.9%    0.3 ms
                    |                     |
                    | C3 (cc3)    0.0%    |
                    | C6 (cc6)   89.2%    | C6          9.0%    0.9 ms
                    | C7 (cc7)   80.2%    |
                    |                     | C8          4.5%    1.5 ms
                    |                     |
                    |                     |
                    |                     | C10        77.8%    7.8 ms

                    |             GPU     |
                    |                     |
                    | Powered On  0.0%    |
                    | RC6       100.0%    |
                    | RC6p        0.0%    |
                    | RC6pp       0.0%    |
                    |                     |
                    |                     |
                    |                     |
                    |                     |
                    |                     |
                    |                     |

Ook gelijk maar de tips van een paar posts terug geprobeerd, alles staat wel goed mbt ASPM

code:

root@Odroid:~# lspci -vv | awk '/ASPM/{print $0}' RS= | grep --color -P '(^[a-z0-9:.]+|ASPM )'
00:1c.0 PCI bridge: Intel Corporation Device 54ba (prog-if 00 [Normal decode])
                LnkCap: Port #3, Speed 8GT/s, Width x1, ASPM L0s L1, Exit Latency L0s <1us, L1 <16us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
00:1c.3 PCI bridge: Intel Corporation Device 54bb (prog-if 00 [Normal decode])
                LnkCap: Port #4, Speed 8GT/s, Width x1, ASPM L0s L1, Exit Latency L0s <1us, L1 <16us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
00:1c.6 PCI bridge: Intel Corporation Device 54be (prog-if 00 [Normal decode])
                LnkCap: Port #7, Speed 8GT/s, Width x1, ASPM L0s L1, Exit Latency L0s <1us, L1 <16us
                LnkCtl: ASPM L0s L1 Enabled; RCB 64 bytes, Disabled- CommClk+
00:1d.0 PCI bridge: Intel Corporation Alder Lake-N PCI Express Root Port (prog-if 00 [Normal decode])
                LnkCap: Port #9, Speed 8GT/s, Width x4, ASPM L0s L1, Exit Latency L0s <1us, L1 <16us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
01:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
02:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
03:00.0 SATA controller: ASMedia Technology Inc. ASM1064 Serial ATA Controller (rev 02) (prog-if 01 [AHCI 1.0])
                LnkCap: Port #0, Speed 8GT/s, Width x1, ASPM L0s L1, Exit Latency L0s <4us, L1 <64us
                LnkCtl: ASPM L0s L1 Enabled; RCB 64 bytes, Disabled- CommClk+
04:00.0 Non-Volatile memory controller: Sandisk Corp WD Blue SN500 / PC SN520 NVMe SSD (rev 01) (prog-if 02 [NVM Express])
                LnkCap: Port #0, Speed 8GT/s, Width x2, ASPM L1, Exit Latency L1 <8us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+

Als ik de gegevens van Powertop probeer te interpreteren, dan denk ik dat de PKG voor Package staat, ofwel software wat geinstalleerd is? Dan ga ik zo mijn LXC containers 1 voor 1 uit zetten en kijken wat er gebeurd.

Toch gek dat het uit het niets kwam.
Tips zijn welkom :-)

--edit--
Screenshot van verbruik

Rond 11:00 uur heb ik hem aan gezet
Rond 15:00 uur actief er mee gaan werken en de eerste LXC geinstalleerd
Rond 22:00 uur wat installaties, reboots, updates e.d.
Rond 02:00 uur ineens een groei in verbruik
rond 07:00 uur een ingelogt via de Proxmox app, daardoor ging de HDD aan en zie je een piek

[ Voor 4% gewijzigd door RedRayMann op 06-01-2025 16:53 ]

[Mich]

Guldan schreef op maandag 6 januari 2025 @ 14:28:
[...]


De 2e het volgende:

code:

root@azeroth:~# cat /sys/module/pcie_aspm/parameters/policy
[default] performance powersave powersupersave

Zorg dat hij op powersave of powersupersave komt:

code:

#echo "powersave" > /sys/module/pcie_aspm/parameters/policy

Of via grub er zoiets van maken:

code:

GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on pcie_aspm=force pcie_aspm.policy=powersupersave consoleblank=15"

[RobertMe]

RedRayMann schreef op maandag 6 januari 2025 @ 16:48:
Als ik de gegevens van Powertop probeer te interpreteren, dan denk ik dat de PKG voor Package staat, ofwel software wat geinstalleerd is?

Maar er staat ook "(HW)" van hardware . Bij mijn weten staat het voor het CPU package. Meerdere cores vormen een package die weer aan elkaar gelinkt zijn. Waarbij ik zou verwachten dat 1 CPU 1 package is. En met een multi-CPU systeem (servers met 2 CPUs) verwacht ik dus 2 packages. Wat vervolgens de CPU in een hogere C-state houd terwijl de individuele cores wel in een lage C-state staan durf ik niet te zeggen.

Edit/aanvulling:
Kan mogelijk wel komen door hardware interrupts? Die kun je ook zien op een van de tabjes als ik mij niet vergis.

[ Voor 9% gewijzigd door RobertMe op 06-01-2025 17:51 ]

[RedRayMann]

RobertMe schreef op maandag 6 januari 2025 @ 17:48:
[...]

Maar er staat ook "(HW)" van hardware . Bij mijn weten staat het voor het CPU package. Meerdere cores vormen een package die weer aan elkaar gelinkt zijn. Waarbij ik zou verwachten dat 1 CPU 1 package is. En met een multi-CPU systeem (servers met 2 CPUs) verwacht ik dus 2 packages. Wat vervolgens de CPU in een hogere C-state houd terwijl de individuele cores wel in een lage C-state staan durf ik niet te zeggen.

Edit/aanvulling:
Kan mogelijk wel komen door hardware interrupts? Die kun je ook zien op een van de tabjes als ik mij niet vergis.

Goed punt mbt de PKG!
Weer wat geleerd!

En heb Nginx Proxy Server stop gezet.
Diverse logging in AdGuard uitgezet
Shut down
5 min later weer aan
Nu lijkt alles weer zoals verwacht.
Over 2 uurtjes zet ik Nginx Proxy Server weer aan
Dan blijf ik er verder vandaag vanaf. Ben benieuwd wat er dan vannacht gebeurt

--edit--
Nu weer in C8
Bij de hardware interrupts staat ook niets opvallends.
Ik plan de uislag wel hier als het nogmaals gebeurd.

[ Voor 6% gewijzigd door RedRayMann op 06-01-2025 18:56 ]

[RedRayMann]

Andere vraag, dus een nieuwe post en geen edit.

Heeft het zin om Powertop in de VM's en LXC te draaien?

[manusjevanalles]

RedRayMann schreef op maandag 6 januari 2025 @ 18:57:
Andere vraag, dus een nieuwe post en geen edit.

Heeft het zin om Powertop in de VM's en LXC te draaien?

Ik heb Powertop zowel in de Truenas VM als Ubuntu Server VM (beiden als —auto-tune). Zonder dit had ik een hoger verbruik. Ik heb Adguard XLC, daarin (nog) geen powertop draaiende.

[andru123]

@mrmrmr @Mars Warrior nog eentje: ik zie geen link naar pricewatch voor picoPSU. U kunt bijvoorbeeld hier naar verwijzen. Ook is de Seasonic-adapter niet de beste uit je tests, en ik denk dat Seasonic een vrij hoog idle verbruik heeft (~1W, maar ik heb dat model niet gemeten, maar de 24V 60W-versie die ik heb verbruikt 1W zonder belasting)

[mrmrmr]

andru123 schreef op maandag 6 januari 2025 @ 21:03:
@mrmrmr @Mars Warrior nog eentje: ik zie geen link naar pricewatch voor picoPSU. U kunt bijvoorbeeld hier naar verwijzen. Ook is de Seasonic-adapter niet de beste uit je tests, en ik denk dat Seasonic een vrij hoog idle verbruik heeft (~1W, maar ik heb dat model niet gemeten, maar de 24V 60W-versie die ik heb verbruikt 1W zonder belasting)

Ja, die Seasonic is al lang niet meer leverbaar volgens Pricewatch. De kit met de FSP084-DHAN3 is een goed alternatief. De Seasonic is nog een restant uit de tijd dat 60W nog voldoende was (op ITX/Atom bordjes). Ik zal het zo aanpassen.

Overigens zijn er versies van de Seasonic 60W adapter. De oude "analoge" adapter en de latere "digitale" adapter, te herkennen aan "HE" (vermoedelijk staat dat voor high efficiency). De HE versie is ok, maar niet op hetzelfde niveau als de genoemde modernere FSP.

Het verwijzen naar PicoPSU moet zorgvuldig gebeuren omdat de rode WI (Wide Input) versies niet zo zuinig zijn, die zijn bedoeld voor autoaccu's die een onstabiele spanning hebben.

[andru123]

De link naar “ 84,6% met een kit “ is dood van hardware.info, helaas. Er was een betere link naar een forum post met metingen van een tweaker, die kan beter terug komen in plaats van. @mrmrmr
Ik denk dat voor mensen, die niet heel diep gaan, is makkelijker op een werkende pricewatch link te klikken, in dat geval Pure Power. En dat is jammer .

[mca2]

Sinds kort lijkt de onboard RealTek 8168/8111 van mijn Asus Prime B250M-K problemen te geven onder FreeBSD. Ik kijk dus naar een losse single port NIC met fatsoenlijke driver ondersteuning. Zijn hier nog veel verschillen in verbruik of is een intel CT prima?

[mrmrmr]

andru123 schreef op maandag 6 januari 2025 @ 23:46:
De link naar “ 84,6% met een kit “ is dood van hardware.info, helaas. Er was een betere link naar een forum post met metingen van een tweaker, die kan beter terug komen in plaats van. @mrmrmr
Ik denk dat voor mensen, die niet heel diep gaan, is makkelijker op een werkende pricewatch link te klikken, in dat geval Pure Power. En dat is jammer .

De link naar hardware.info is aangepast door rechtstreeks naar het html bestand te verwijzen. De pagina is er nog. F5 helpt misschien. Helaas heeft zowel archive.org als archive.today moeite met deze site te archiveren, dat lukte dus niet.

Er is een meting op Pricewatch in een (PicoPSU-160-XT) review door @cj1. Hoewel nuttig, ontstaat er een information overload als zoveel gegevens in deze sectie wordt opgenomen. Het stukje over deze voedingen is eigenlijk al te groot. Een link naar mijn vergelijking tussen picoPSU-80 en picoPSU-160-XT met metingen staat er bijvoorbeeld ook niet. Conclusie is dat picoPSU-160-XT minder zuinig is. In de topic start onder tips staan de aan te raden picoPSU configuraties.

[Guldan]

Mich schreef op maandag 6 januari 2025 @ 17:05:
[...]


Zorg dat hij op powersave of powersupersave komt:

code:

#echo "powersave" > /sys/module/pcie_aspm/parameters/policy

Of via grub er zoiets van maken:

code:

GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on pcie_aspm=force pcie_aspm.policy=powersupersave consoleblank=15"

Het is beetje een leerweg geweest. Maar ondertussen staat dit allemaal op powersupersave.

Maar ik lijk nog niet lager dan ce te komen. Ik heb gisteravond ook powertop 2.15 weten te compileren (ik ben programmeur, maar onder Linux is het weer een stuk anders allemaal). Maar daar moet ik nog verder mee stoeien.

[TheMystery]

TheMystery schreef op vrijdag 3 januari 2025 @ 13:23:
[...]


Heb nog wat zaken aangepast en kom nu op het volgende uit:

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Core i5-13500 Boxed	€ 221,65	€ 221,65
1	Moederborden	ASUS TUF Gaming B760M-PLUS II	€ 169,-	€ 169,-
4	Interne harde schijven	WD Red Plus, 12TB	€ 278,14	€ 1.112,56
1	Behuizingen	Fractal Design Node 804	€ 109,50	€ 109,50
1	Geheugen intern	Corsair Vengeance CMK64GX5M2A4800C40	€ 165,24	€ 165,24
1	Voedingen	be quiet! Pure Power 12 M 550W	€ 91,41	€ 91,41
2	SSD's	WD Black SN850X (zonder heatsink) 2TB	€ 144,99	€ 289,98
			Totaal	€ 2.159,34

Volgens mij moet dit zo allemaal kloppen en bij elkaar passen.
Heb uiteindelijk toch voor microATX gekozen voor toekomstige uitbreidingen.
Hier kan ik laterna nog een GPU inzetten voor met een LLM te gaan werken heb dit de afgelopen week veel over gelezen en gezien en het lijkt me toch interessant om een keer iets met ollama en openwebui te gaan doen in de toekomst, alleen zou er dan een zwaardere voeding in moeten die minder efficient zijn maar als je hier aan begint weet je ook dat het meer stroom kost. Dus nog even kijken of ik hier een 750/850w van ga maken. Als het netzoveel stroom idle gaat gebruiken als mijn huidige Synology DS415+ en mijn HP Prodesk 400G6 ben ik redelijk tevreden.
Er zit nog een pci 3.0x1 poort op waar eventuele nog een pci 4x sata kaart in kan, deze is dan wel maar 1Gbps maar 4 disken halen dit toch niet dus moet voldoende zijn.
verder nog een 4.0x4 poort hier wil ik als ik me netwerk aan ga passen een keer een 10Gb nic inzetten
en dan is er nog een m2 over waar ik wat mee kan.

Denk dat ik toch proxmox ga draaien, dus heb 2x een ssd waar ik dan zfs raid1 op ga gebruiken en waar de vm's en lxc's op gezet kunnen worden.
Dan wil ik truenas scale in een vm draaien en de sata controller met pci passthrough doorzetten.
heb hier gevonden dat de sata controller in een aparte iommu groep zit dus dat moet geen probleem zijn:
https://linux-hardware.org/?probe=9666b7dd0c&log=lspci
Usb zet ik wel apart per device door naar de vm en naar de lxc's, aangezien ik mijn usb google coral in een lxc ga gebruiken hoef ik dus niet de usb pci controller volledig via pci passthrough door te zetten en moederborden hebben over het algemeen maar 1 usb controller wat ik zie welke ook in dezelfde iommu groep zit als de Ram memory dus die wil je ook niet doorzetten qua veiligheid.
Is dit een beetje een normale setup met truenas in een vm of zouden jullie dit toch native draaien? op internet en youtube kom ik deze setup vaak tegen iig.

Vanwege vakantie denk ik hier helaas geen reacties op gehad, klopt de hardware zo voordat ik het ga bestellen + de uitbreidingsmogelijkheden?
En iemand tips of het draaien van een truenas vm binnen proxmox wel een goede keuze is?
Enige wat lastiger is met truenas en ook andere nas oplossingen is een backup naar een USB disk wat ik nu doe met mijn synology, dit is niet direct ondersteund, hoe doen jullie dit?

[mrmrmr]

mca2 schreef op dinsdag 7 januari 2025 @ 00:59:
Sinds kort lijkt de onboard RealTek 8168/8111 van mijn Asus Prime B250M-K problemen te geven onder FreeBSD. Ik kijk dus naar een losse single port NIC met fatsoenlijke driver ondersteuning. Zijn hier nog veel verschillen in verbruik of is een intel CT prima?

Wat is de output van grep re1 /var/run/dmesg.boot? re1 is de naam van de netwerkadapter, kan ook een andere naam hebben. Je kan het ethernet address weglaten.

Realtek heeft een Unix driver op hun download pagina (if_re / if_re.ko).

Linux heeft veel beter power management dan *BSD. Een netwerkkaart met Intel i210/i211/i219-LM netwerkchip werkt goed onder Linux. Onder BSD zou ik dat niet durven zeggen, mijn ervaring is verouderd.

[Mich]

mrmrmr schreef op dinsdag 7 januari 2025 @ 08:07:
[...]


Wat is de output van grep re1 /var/run/dmesg.boot? re1 is de naam van de netwerkadapter, kan ook een andere naam hebben. Je kan het ethernet address weglaten.

Realtek heeft een Unix driver op hun download pagina (if_re / if_re.ko).

Linux heeft veel beter power management dan *BSD. Een netwerkkaart met Intel i210/i211/i219-LM netwerkchip werkt goed onder Linux. Onder BSD zou ik dat niet durven zeggen, mijn ervaring is verouderd.

In opnsense (freeBSD) werkt een i210 en i226 prima en hier zijn de power management instellingen ook te configureren / aan te passen.

[pimlie]

Heb de nieuwe bios met ASPM binnen, maar idle verbruik van het X1314 mobo met 14500T blijft steken op 31W en blijft grillig met regelmatige pieken naar ~55W. Zelfs als ik bijna alle processen pin op de E-cores en voor alle E-cores een scaling_max_freq zet van 1.2Ghz. De E-cores hebben met deze max frequentie een gemiddelde belasting van ~5-10%. Wat dat betreft denk ik dat ik beter de 12500T kan terug plaatsen want die had een zelfde verbruik zonder het gedoe van het moeten pinnen van processen.

Is er toevallig iemand anders hier met een W680 moederbord en een 14xxx series cpu? Zo ja, wat is jullie verbruik? @FireDrunk Ging jij niet een Asus WS Pro aanschaffen? @BasilFX Wat is jouw verbruik nu gemiddeld bij normaal gebruik, heb je toevallig een grafiekje dat je kan delen?

[Mars Warrior]

pimlie schreef op dinsdag 7 januari 2025 @ 12:03:
Heb de nieuwe bios met ASPM binnen, maar idle verbruik van het X1314 mobo met 14500T blijft steken op 31W en blijft grillig met regelmatige pieken naar ~55W. Zelfs als ik bijna alle processen pin op de E-cores en voor alle E-cores een scaling_max_freq zet van 1.2Ghz. De E-cores hebben met deze max frequentie een gemiddelde belasting van ~5-10%. Wat dat betreft denk ik dat ik beter de 12500T kan terug plaatsen want die had een zelfde verbruik zonder het gedoe van het moeten pinnen van processen.

Raar. 8 e-cores op 1.2ghz zou weinig moeten verbruiken. Die piek naar 55w is 24w verschil . 3w per e-core.

En als je alles op 1 e-core vastzet, wat dan?

[Guldan]

@Mich @Mars Warrior
Om even uit te sluiten dat de netwerkkaart de lagere c states in de weg zit heb ik deze in de bios gedisabled. Dat lijkt niets te helpen dus de driver lijkt positief effect te hebben..

[BasilFX]

pimlie schreef op dinsdag 7 januari 2025 @ 12:03:
@BasilFX Wat is jouw verbruik nu gemiddeld bij normaal gebruik, heb je toevallig een grafiekje dat je kan delen?

Heb in december drie schijven vervangen, en het verbruik nogmaals gemeten. Ik blijf steken rond de 20 W idle, gemeten aan de stekker. Dat is met BIOS 4001, 2.5 GbE LAN, 3x HDD (spun down), 1x SSD, 1x M.2, geen USB en monitor. Ik heb helaas geen grafiek. Hij komt niet verder dan Pkg C3-state.

Voor mij is dit acceptabel genoeg, ondanks dat het zuiniger zou moeten kunnen. Ik hoop ooit nog op een (BIOS) update of hack, om het nog zuiniger te maken.

[pimlie]

Mars Warrior schreef op dinsdag 7 januari 2025 @ 12:22:
Raar. 8 e-cores op 1.2ghz zou weinig moeten verbruiken. Die piek naar 55w is 24w verschil . 3w per e-core.

En als je alles op 1 e-core vastzet, wat dan?

Jah, ik denk zelf dat er of nog een crontab is oid die op de P-cores draait en/of dat docker/containerd zelf toch ook relatief veel cpu gebruikt. Misschien dat ik anders zo de server even herstart en in de bios alle P-cores uitschakel, volgens mij kon dat.

BasilFX schreef op dinsdag 7 januari 2025 @ 12:57:
Ik blijf steken rond de 20 W idle, gemeten aan de stekker ... Hij komt niet verder dan Pkg C3-state.

Voor mij is dit acceptabel genoeg, ondanks dat het zuiniger zou moeten kunnen. Ik hoop ooit nog op een (BIOS) update of hack, om het nog zuiniger te maken.

Dank voor je reactie, 20W is best ok idd. Ik kom helaas niet verder dan C2 op de pkg, maar dat is met 2xM2 waarvan 1 direct aan de cpu hangt. Als ik me goed herinner kan ik idd ook tot C3 komen met 1xM2, maar maakte dat maar 1W verschil uit ofzo.

Als ik nu kijk in home assistant gebruikte ik met de 12500T trouwens ~26W idle, om de een of andere reden gebruikte ik alleen de laatste 2 dagen voor het vangen van de 12 naar de 14 serie 31W idle. Of hass moet iets raars doen met het middelen van historische getallen waardoor ze lager lijken dan dat ze waren. Andere historische verbruik cijfers lijken iig wel te kloppen...

[Mars Warrior]

pimlie schreef op dinsdag 7 januari 2025 @ 13:58:
[...]
Jah, ik denk zelf dat er of nog een crontab is oid die op de P-cores draait en/of dat docker/containerd zelf toch ook relatief veel cpu gebruikt. Misschien dat ik anders zo de server even herstart en in de bios alle P-cores uitschakel, volgens mij kon dat.

Je kunt inderdaad in de BIOS het aantal P-cores opgeven. Maar je kunt ook de P-Cores lager klokken. Zeg ff idioot op 1Ghz. Dat zou je toch ook direct terug moeten zien.

Die P-cores van de 14gen boosten als een malle namelijk. Dus die beperken helpt ook...

Ik monitor met InfluxDB de Package Power van de CPU (elke minuut, het is maar een indicatie). Daaraan kan ik in ieder geval zien wat het verbruik aan de binnenkant is. Daarin kon ik dus ook zien dat een volbelaste E-core@2.5Ghz 3W PP doet.

Eén P-core op een 12900K kan al 78W PP pakken als deze maximaal mag boosten.

[pimlie]

@Mars Warrior Waar heb je al die informatie vandaag over power per core, zie dat niet op Intel Ark staan?

Heb voor nu 1 P-core enabled en Turbo Boost disabled. En alle 8x E-cores op 1.2Ghz. Zal een paar uur wachten en kijken hoe het zich stabiliseert.

Package Power van de CPU

Sorry, nog een vraag. Hoe bepaal je de package power, met turbostat?

[logitechi]

Ik ben zojuist ook begonnen met het bouwen van een homeserver op basis van een i5-14400 en het veelbesproken Kontron moederboard. Echter zoals verwacht start deze combinatie niet op en kom ik ook niet bij de BIOS terecht. Ben ik nou echt verplicht om een 12e generatie Intel CPU erin te zetten of zijn er ook andere mogelijkheden?

[Mars Warrior]

logitechi schreef op dinsdag 7 januari 2025 @ 16:32:
Ik ben zojuist ook begonnen met het bouwen van een homeserver op basis van een i5-14400 en het veelbesproken Kontron moederboard. Echter zoals verwacht start deze combinatie niet op en kom ik ook niet bij de BIOS terecht. Ben ik nou echt verplicht om een 12e generatie Intel CPU erin te zetten of zijn er ook andere mogelijkheden?

Toch niet een stand-off teveel gemonteerd?

[logitechi]

Mars Warrior schreef op dinsdag 7 januari 2025 @ 16:41:
[...]

Toch niet een stand-off teveel gemonteerd?

Nee dat niet gelukkig!

[Mars Warrior]

logitechi schreef op dinsdag 7 januari 2025 @ 16:44:
[...]
Nee dat niet gelukkig!

Aha. Bij andere mensen is het bord daardoor noet kapot gegaan, maar weigerde op te starten.
Als het een 2.x BIOS is, dan zou 14gen ondersteund moeten zijn.

Het bord moet zonder RAM en SSD kunnen opstarten. Zonder CPU wordt lastiger

De ATX voeding is goed aangesloten? Ook de CPU stekker?

Somd helpt paar keer spanning uit/aan en dan geduld hebben.

[logitechi]

Mars Warrior schreef op dinsdag 7 januari 2025 @ 16:48:
[...]

Aha. Bij andere mensen is het bord daardoor noet kapot gegaan, maar weigerde op te starten.
Als het een 2.x BIOS is, dan zou 14gen ondersteund moeten zijn.

Het bord moet zonder RAM en SSD kunnen opstarten. Zonder CPU wordt lastiger

De ATX voeding is goed aangesloten? Ook de CPU stekker?

Somd helpt paar keer spanning uit/aan en dan geduld hebben.

Het board lijkt in principe te werken. Cpu fan draait een een solide groene lamp brand. Ik maak gebruik van een PicoPSU 120watt en deze heeft geen 12V 4 pin / 8 pin cpu kabel. Deze heb ik dus niet aangesloten. Heb ik nu de verkeerde gekocht?

[Mars Warrior]

pimlie schreef op dinsdag 7 januari 2025 @ 15:33:
@Mars Warrior Waar heb je al die informatie vandaag over power per core, zie dat niet op Intel Ark staan?

Er zijn van die idioten die dat testen

Heb voor nu 1 P-core enabled en Turbo Boost disabled. En alle 8x E-cores op 1.2Ghz. Zal een paar uur wachten en kijken hoe het zich stabiliseert.

Sorry, nog een vraag. Hoe bepaal je de package power, met turbostat?

Dat kan ja:

code:

sudo turbostat --Summary --quiet --show Avg_MHz,PkgTmp,PkgWatt --interval 1

En ik gebruik Telegraph met InfluxDB om die package power te monitoren:

• Je ziet dat ik rond de 1,7W zit gemiddeld. En pieken naar 5W en een stukje daaronder. Dat zijn de E-cores die op 100% draaien. Je ziet ook even één P-core (ook zwaar teruggeklot) aan de gang gaan: hoppa naar de 20W PP.

[Mars Warrior]

logitechi schreef op dinsdag 7 januari 2025 @ 16:59:
[...]
Het board lijkt in principe te werken. Cpu fan draait een een solide groene lamp brand. Ik maak gebruik van een PicoPSU 120watt en deze heeft geen 12V 4 pin / 8 pin cpu kabel. Deze heb ik dus niet aangesloten. Heb ik nu de verkeerde gekocht?

Je had er een kabel bij moeten kopen. Zonder die 12V plug doet de CPU het niet namelijk

[logitechi]

Mars Warrior schreef op dinsdag 7 januari 2025 @ 17:04:
[...]

Je had er een kabel bij moeten kopen. Zonder die 12V plug doet de CPU het niet namelijk

Aah onhandig, dan moet dat de oplossing zijn. Bedankt i.i.g.!

[puUL]

TheMystery schreef op dinsdag 7 januari 2025 @ 08:01:
[...]


Vanwege vakantie denk ik hier helaas geen reacties op gehad, klopt de hardware zo voordat ik het ga bestellen + de uitbreidingsmogelijkheden?
En iemand tips of het draaien van een truenas vm binnen proxmox wel een goede keuze is?
Enige wat lastiger is met truenas en ook andere nas oplossingen is een backup naar een USB disk wat ik nu doe met mijn synology, dit is niet direct ondersteund, hoe doen jullie dit?

Ik draai Truenas in Proxmox, voor mij werkt dit prima! Ik heb mijn SSD's hardware matig doorgegeven in proxmox, zodat Truenas hier volledige controle over heeft. Daarnaast draai ik een Debian VM met al mijn docker containers. Ik mount de nfs shares van Truenas in de debian vm om aan mijn data te kunnen.

Voor mijn use case is dit de perfecte setup.
Succes!

[mrmrmr]

logitechi schreef op dinsdag 7 januari 2025 @ 17:06:
[...]


Aah onhandig, dan moet dat de oplossing zijn. Bedankt i.i.g.!

Je kunt de kabel vinden als je zoekt op picopsu p4 cable. P4 staat voor een vierkante 4 pin Molex Mini-Ft jr stekker. Die past ook op een 8-pin aansluiting. Aan de andere zijde is er een Molex platte stekker.

Zoals deze.

[andru123]

mrmrmr schreef op dinsdag 7 januari 2025 @ 17:37:
[...]


Je kunt de kabel vinden als je zoekt op picopsu p4 cable. P4 staat voor een vierkante 4 pin Molex Mini-Ft jr stekker. Die past ook op een 8-pin aansluiting. Aan de andere zijde is er een Molex platte stekker.

Zoals deze.

Huh, net gezien dat er zijn verschillende P4 kabels voor picoPSU modellen. 160xt heeft een al gesoldeerd, 80 gebruikt een mini-molex connector. Waar gaat de molex eind van de kabel op 120? Gewoon in de Molex output? Maar dan heb ook een molex splitter ook nodig, als je een of meer HDDs gaat gebruiken.

[GioStyle]

puUL schreef op dinsdag 7 januari 2025 @ 17:23:
[...]


Ik draai Truenas in Proxmox, voor mij werkt dit prima! Ik heb mijn SSD's hardware matig doorgegeven in proxmox, zodat Truenas hier volledige controle over heeft. Daarnaast draai ik een Debian VM met al mijn docker containers. Ik mount de nfs shares van Truenas in de debian vm om aan mijn data te kunnen.

Voor mijn use case is dit de perfecte setup.
Succes!

Ik zie bovenstaande setup veel mensen doen, maar kan iemand mij uitleggen wat voor voordelen zo'n setup heeft? Kan aan mij liggen, maar ik zie alleen maar onnodige overhead.

Ik heb precies hetzelfde, maar dan met enkel Debian (plus ZFS, Docker, Sanoid en Samba).

[RedRayMann]

RedRayMann schreef op maandag 6 januari 2025 @ 16:48:
Weer een update.
Gisteren op Proxmox de Unifi controller als LXC geïnstalleerd en mijn Unifi netwerk opnieuw ingericht (geen back-up van oude setup)
Daarna AdGuard als LXC geïnstalleerd en ingesteld.
Daarna gespeeld met Nginx Proxy Server

Verbruik bleef redelijk gelijk, iets verhoging.
Van 3,3 watt tot 4 watt naar 4 watt tot 5 watt
Dit vond ik begrijpelijk want het systeem moet ineens iets doen ipv lekker idle zijn.

Maar vannacht om 02:00 uur is het verbruik ineens omhoog geschoten naar 6,5 watt.

Ik heb vanochtend en zojuist de 2,5" HDD gecontroleerd.

code:

root@Odroid:~# hdparm -C /dev/sdc

/dev/sdc:
 drive state is:  standby

Dus die moet geen extra stroom afnemen.

Heb ook in Powertop gekeken, alles staat zoals ik het eerder zag mbt de good/bad regels.

Maar ik zit nu in C3 ipv C8 (PowerTop 2.15 - PKG)


[...]


Ook gelijk maar de tips van een paar posts terug geprobeerd, alles staat wel goed mbt ASPM

code:

root@Odroid:~# lspci -vv | awk '/ASPM/{print $0}' RS= | grep --color -P '(^[a-z0-9:.]+|ASPM )'
00:1c.0 PCI bridge: Intel Corporation Device 54ba (prog-if 00 [Normal decode])
                LnkCap: Port #3, Speed 8GT/s, Width x1, ASPM L0s L1, Exit Latency L0s <1us, L1 <16us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
00:1c.3 PCI bridge: Intel Corporation Device 54bb (prog-if 00 [Normal decode])
                LnkCap: Port #4, Speed 8GT/s, Width x1, ASPM L0s L1, Exit Latency L0s <1us, L1 <16us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
00:1c.6 PCI bridge: Intel Corporation Device 54be (prog-if 00 [Normal decode])
                LnkCap: Port #7, Speed 8GT/s, Width x1, ASPM L0s L1, Exit Latency L0s <1us, L1 <16us
                LnkCtl: ASPM L0s L1 Enabled; RCB 64 bytes, Disabled- CommClk+
00:1d.0 PCI bridge: Intel Corporation Alder Lake-N PCI Express Root Port (prog-if 00 [Normal decode])
                LnkCap: Port #9, Speed 8GT/s, Width x4, ASPM L0s L1, Exit Latency L0s <1us, L1 <16us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
01:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
02:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
03:00.0 SATA controller: ASMedia Technology Inc. ASM1064 Serial ATA Controller (rev 02) (prog-if 01 [AHCI 1.0])
                LnkCap: Port #0, Speed 8GT/s, Width x1, ASPM L0s L1, Exit Latency L0s <4us, L1 <64us
                LnkCtl: ASPM L0s L1 Enabled; RCB 64 bytes, Disabled- CommClk+
04:00.0 Non-Volatile memory controller: Sandisk Corp WD Blue SN500 / PC SN520 NVMe SSD (rev 01) (prog-if 02 [NVM Express])
                LnkCap: Port #0, Speed 8GT/s, Width x2, ASPM L1, Exit Latency L1 <8us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+

Als ik de gegevens van Powertop probeer te interpreteren, dan denk ik dat de PKG voor Package staat, ofwel software wat geinstalleerd is? Dan ga ik zo mijn LXC containers 1 voor 1 uit zetten en kijken wat er gebeurd.

Toch gek dat het uit het niets kwam.
Tips zijn welkom :-)

--edit--
Screenshot van verbruik
[Afbeelding]
Rond 11:00 uur heb ik hem aan gezet
Rond 15:00 uur actief er mee gaan werken en de eerste LXC geinstalleerd
Rond 22:00 uur wat installaties, reboots, updates e.d.
Rond 02:00 uur ineens een groei in verbruik
rond 07:00 uur een ingelogt via de Proxmox app, daardoor ging de HDD aan en zie je een piek

Gisteren na deze post zat ik tussen de 4,2 en 4,7 watt.
Vanmiddag keek ik naar het verbruik, blijk ik weer twee "gratis" watt erbij gekregen te hebben rond 10:00 uur.
Vriendin heeft even thuis gewerkt, laptop ging 09:00 uur, verder weinig netwerk verkeer, dus heb geen idee wat dit triggert.

Proxmox
Als ik in Proxmox kijk, zie ik het volgende in de tabellen;
Proxmox host summary
- IO Delay daalt van 0,22/0,16% ineens naar 0,008% rond 10:00 uur
- CPU blijft gelijk
Powertop weer 80% in C3

Unifi summary
- Niets opvallends rond 10:00 uur

Adguard summary
- Niets opvallends rond 10:00 uur

Nginx summary
- Niets opvallends rond 10:00 uur


Device stats

code:

PowerTOP 2.15     Overview   Idle stats   Frequency stats   Device stats   Tunables   WakeUp       


              Usage     Device name
             11.2%        CPU misc
             11.2%        CPU core
            100.0%        PCI Device: Intel Corporation Ethernet Controller I226-V
            100.0%        PCI Device: ASMedia Technology Inc. ASM1064 Serial ATA Controller
            100.0%        PCI Device: Intel Corporation Device 54ba
            100.0%        PCI Device: Intel Corporation Ethernet Controller I226-V
            100.0%        PCI Device: Intel Corporation Alder Lake-N SPI (flash) Controller
            100.0%        PCI Device: Intel Corporation Device 54bb
            100.0%        PCI Device: Intel Corporation Alder Lake-N PCI Express Root Port
            100.0%        PCI Device: Intel Corporation Device 54be
            100.0%        PCI Device: Sandisk Corp WD Blue SN500 / PC SN520 NVMe SSD
            100.0%        PCI Device: Intel Corporation Platform Monitoring Technology
            100.0%        PCI Device: Intel Corporation Device 4678
             60.1%        PCI Device: Intel Corporation Alder Lake-N [UHD Graphics]
             28.7 pkts/s  Network interface: enp2s0 (igc)
             17.5 pkts/s  nic:vmbr0
              7.5 pkts/s  nic:veth101i0
              5.8 pkts/s  nic:veth100i0
              1.7 pkts/s  nic:veth102i0

Overview

code:

PowerTOP 2.15     Overview   Idle stats   Frequency stats   Device stats   Tunables   WakeUp       

Summary: 372.5 wakeups/second,  0.0 GPU ops/seconds, 0.0 VFS ops/sec and 10.3% CPU use

                Usage       Events/s    Category       Description
              2.1 ms/s     160.5        Timer          tick_nohz_highres_handler
              1.2 ms/s      19.7        Process        [PID 1378] /usr/bin/java -Dfile.encoding=UTF
            304.5 µs/s      20.0        Process        [PID 17] [rcu_preempt]
              0.9 ms/s      14.7        Interrupt      [3] net_rx(softirq)
            106.7 µs/s      11.7        kWork          psi_avgs_work
              1.6 ms/s       9.6        Process        [PID 1977] bin/mongod --dbpath /usr/lib/unif
            633.0 µs/s       9.6        Process        [PID 1894] bin/mongod --dbpath /usr/lib/unif
            515.9 µs/s       9.6        Process        [PID 1968] bin/mongod --dbpath /usr/lib/unif
             18.2 ms/s       1.6        Process        [PID 1070] pvestatd
             51.2 µs/s       6.5        kWork          flush_to_ldisc
            181.4 µs/s       3.9        Process        [PID 119966] /usr/sbin/pvefw-logger
            205.8 µs/s       3.8        Process        [PID 1372] /usr/bin/java -Dfile.encoding=UTF
              6.6 ms/s       1.0        Process        [PID 1058] pve-firewall
             35.6 µs/s       3.5        kWork          delayed_vfree_work
              4.8 ms/s       1.2        Process        [PID 1979] bin/mongod --dbpath /usr/lib/unif
            179.2 µs/s       2.9        Process        [PID 1890] bin/mongod --dbpath /usr/lib/unif
            139.7 µs/s       2.9        Process        [PID 873] /usr/bin/rrdcached -B -b /var/lib/
            101.9 µs/s       2.7        Process        [PID 1798] /opt/AdGuardHome/AdGuardHome -s r
             59.6 µs/s       2.4        Interrupt      [129] nvme0q2
              2.1 ms/s       1.5        Process        [PID 426421] powertop
            583.1 µs/s       2.1        Process        [PID 426533] cron
            265.1 µs/s       2.1        Process        [PID 2006] /usr/bin/java -Dfile.encoding=UTF
            259.1 µs/s       2.1        Process        [PID 2007] /usr/bin/java -Dfile.encoding=UTF
              3.7 ms/s       0.6        Process        [PID 119976] pveproxy worker
             85.2 µs/s       2.0        Process        [PID 423031] /usr/bin/rrdcached -B -b /var/l
            128.1 µs/s       1.9        Process        [PID 1600] /usr/bin/rrdcached -B -b /var/lib
              3.3 ms/s       0.7        Process        [PID 119975] pveproxy worker
             84.1 µs/s       1.9        Process        [PID 89419] /usr/bin/rrdcached -B -b /var/li
             82.4 µs/s       1.9        Process        [PID 22965] /usr/bin/rrdcached -B -b /var/li
            153.3 µs/s       1.9        Process        [PID 89585] /usr/bin/rrdcached -B -b /var/li
             79.2 µs/s       1.9        Process        [PID 55631] /usr/bin/rrdcached -B -b /var/li
             33.6 µs/s       1.9        Process        [PID 47] [kcompactd0]
             44.2 µs/s       1.7        kWork          do_worker
              0.8 ms/s       1.3        Process        [PID 1811] /opt/AdGuardHome/AdGuardHome -s r
              1.0 ms/s       1.1        Process        [PID 992] /usr/bin/pmxcfs
              2.8 ms/s      0.15        Timer          hrtimer_wakeup

(de rest is 1% of minder)

HDD?
En weer een check of de HDD stroom snoept;

code:

root@Odroid:~# hdparm -C /dev/sdc

/dev/sdc:
 drive state is:  standby

Nope, die slaapt lekker.

Software
Proxmox
Unifi
Adguard (logs uit)
Nginx Proxy Manager

Grafiek

Boven is afgelopen 24 uur
Onder is afgelopen 48 uur

LED's op moederbord
– Red (PWR) – Solid light when DC power is supplied
– Blue (left, SLEEP) – turns off only when the system enters into suspend mode
– Blue (right, PMIC) – turns on only when the major power rails are working
– Amber (SATA) – Flashes when SATA data transfers
– Green (NVMe) – Flashes when NVMe data transfers

Rood, aan
Blauw, beide aan
Amber, uit
Groen, knippert soms

Vraag?
Welke info is nog handig om te achterhalen voordat ik hem uit zet?
Ik doe straks weer een cold start en laat Nginx uit, dat is de enige container die nu nog niet in gebruik is. Anders moet ik AdGuard weer tijdelijk uit de Unifi controller halen of de controller tijdelijk ergens anders hosten.
Zal ik de SSD's/HDD los koppelen?

--edit--
Ik denk niet dat het relevant is, maar zie in mijn Unifi dashboard om 10 uur een piek. Mijn vriendin heeft toen per ongelijk een zakelijk filmpje gedownload van intranet ipv gestreamd. Maar dit kan het verbruik van AdGuard of de Unifi controller toch niet verhogen?

[ Voor 5% gewijzigd door RedRayMann op 07-01-2025 19:31 ]

[tuxie6]

@RedRayMann

Cronjob?
Update's waardoor nic in hogere modes 100mb, 1g, 2.5g gaat en niet terug valt?
Geluidskaart of usb, ssd, Wat warm word slurpt stroom soms is het te voelen.

[bjp]

@logitechi je kunt de P4 kabel toch gewoon in 4 van de 8 aansluiten voor de CPU?


Op mijn picoPSU 120W is er _wel_ een P4 kabel.

[pimlie]

Mars Warrior schreef op dinsdag 7 januari 2025 @ 17:02:
Dat kan ja:

code:

sudo turbostat --Summary --quiet --show Avg_MHz,PkgTmp,PkgWatt --interval 1

Pff, draai een mainline kernel waar ubuntu geen tools pkg voor publiceert, dus moest even uitvogelen wat de makkelijkste manier was om turbostat te compileren.

spoiler:

$ apt-get install libcap-dev
$ git clone --depth=1 -b "v$(uname -r | cut -d- -f1)" git://git.kernel.org/pub/scm/linux/kernel/git/stable/linux-stable.git
$ cd linux-stable/tools/power/x86/turbostat
$ make
$ ./turbostat

Als ik jouw cmd draai dan zit ik tussen de 2.03 en 2.67 PkgWatt terwijl ik ~32W aan het stopcontact meet. Met die ene P-core en veel services uit heb ik inderdaad geen uitschieters meer naar 50+ W (max is nu ca 37W). Desalniettemin lijkt het verbruik dus nog altijd behoorlijk hoger dan met de 12500T. Sinds de metingen met de 12500T zijn er wel nog twee variabelen veranderd (bios & kernel versie), maar kan eigenlijk niet echt een reden bedenken waarom die twee een verschil van ~5W zouden kunnen veroorzaken. Ga nog even bedenken wat ik nog kan / wil doen om eea uit te zoeken...

[RedRayMann]

tuxie6 schreef op dinsdag 7 januari 2025 @ 19:21:
@RedRayMann

Cronjob?
Update's waardoor nic in hogere modes 100mb, 1g, 2.5g gaat en niet terug valt?
Geluidskaart of usb, ssd, Wat warm word slurpt stroom soms is het te voelen.

Ik ga zoeken, maar heb dacht ik niets in mijn crontab lijst.

code:

root@Odroid:~# crontab -e

  GNU nano 7.2                        /tmp/crontab.ITDSsA/crontab                                  
@reboot (sleep 60 && echo "powersave" | tee /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor)
@reboot /home/scripts/powertop_script.sh
@reboot ethtool -s enp1s0 wol d
@reboot sleep 60 && ethtool -s enp2s0 wol d

Die eerste heeft Proxmox erin gezet zodat ik bij boot de juiste govener krijg.
Die andere had ik er al uit moeten halen, die doe ik nu in een startup script.
Maar dan nog, dit wordt bij reboot uitgevoerd.

Ik heb nu alleen de eerste regel laten staan en ga kijken welke governor in gebruik is.

--edit--

code:

root@Odroid:~# cat /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor 
powersave
powersave
powersave
powersave

Die staat dus goed. Ik gooi de server uit en zet hem over enkele minuten weer aan.

[ Voor 10% gewijzigd door RedRayMann op 07-01-2025 19:52 ]

[puUL]

GioStyle schreef op dinsdag 7 januari 2025 @ 18:21:
[...]


Ik zie bovenstaande setup veel mensen doen, maar kan iemand mij uitleggen wat voor voordelen zo'n setup heeft? Kan aan mij liggen, maar ik zie alleen maar onnodige overhead.

Ik heb precies hetzelfde, maar dan met enkel Debian (plus ZFS, Docker, Sanoid en Samba).

Ja, ik denk dat je zeker een punt hebt ivm onnodige overhead hoor. Dit werd mij aangeraden omdat het NAS gedeelte (shares, zfs, ..) veel makkelijker te beheren is via Truenas. Ik ben geen Linux held, dus in mijn geval is dat laatste zeker waar. Daar geef ik graag wat overhead voor weg.

Al bij al valt het ook wel mee denk ik, een paar percentages geloof ik.

[GoBieN-Be]

TheMystery schreef op dinsdag 7 januari 2025 @ 08:01:
[...]

Vanwege vakantie denk ik hier helaas geen reacties op gehad, klopt de hardware zo voordat ik het ga bestellen + de uitbreidingsmogelijkheden?
En iemand tips of het draaien van een truenas vm binnen proxmox wel een goede keuze is?
Enige wat lastiger is met truenas en ook andere nas oplossingen is een backup naar een USB disk wat ik nu doe met mijn synology, dit is niet direct ondersteund, hoe doen jullie dit?

Van je RAM kan ik niet zo snel terugvinden wat de JEDEC profielen zijn. XMP overklok profielen zijn in principe minder zuinig. Alhoewel de spanning volgens de specs 1.10V is en dat is dan volgens mij weer de JEDEC standaard spanning.

Met 4x 3,5" HDD's zal zuinigheid sowieso een uitdaging zijn. Je zal ze wellicht ook in RAID configureren waardoor standby moeilijk is.
Hoe minder schijven hoe beter, dus misschien even kijken als je met 2x WD RED (Pro) 18, 20 of 22TB niet toekomt (of desnoods 3)?

Zelf geen ervaring met TrueNAS, ik weet wel dat de Scale variant op Linux gebaseerd is.
En als je apparaat in passtrough naar de Linux VM gaat, moet je daar in die VM de nodige energie-instellingen voor ASPM regelen.

Er zijn vast wel tutorials voor back-up kopie naar USB te vinden.

Ik zelf gebruik Veeam software voor mijn back-ups.

[andru123]

TheMystery schreef op vrijdag 3 januari 2025 @ 13:23:
Hier kan ik laterna nog een GPU inzetten voor met een LLM te gaan werken heb dit de afgelopen week veel over gelezen en gezien en het lijkt me toch interessant om een keer iets met ollama en openwebui te gaan doen in de toekomst, alleen zou er dan een zwaardere voeding in moeten die minder efficient zijn maar als je hier aan begint weet je ook dat het meer stroom kost. Dus nog even kijken of ik hier een 750/850w van ga maken. Als het netzoveel stroom idle gaat gebruiken als mijn huidige Synology DS415+ en mijn HP Prodesk 400G6 ben ik redelijk tevreden.

750/850 voedingen zijn (veel) onzuiniger dan 550.
Ik ken weinig videokaarten dat meer dan 300W gebruiken. Missch. de laatste duurste modellen.

[mca2]

mrmrmr schreef op dinsdag 7 januari 2025 @ 08:07:
[...]
Wat is de output van grep re1 /var/run/dmesg.boot

code:

re0: <RealTek 8168/8111 B/C/CP/D/DP/E/F/G PCIe Gigabit Ethernet> port 0xe000-0xe0ff mem 0xf7104000-0xf7104fff,0xf7100000-0xf7103fff irq 19 at device 0.0 on pci1
re0: Using 1 MSI-X message
re0: ASPM disabled
re0: Chip rev. 0x54000000
re0: MAC rev. 0x00100000
miibus0: <MII bus> on re0
rgephy0: <RTL8251/8153 1000BASE-T media interface> PHY 1 on miibus0
rgephy0:  none, 10baseT, 10baseT-FDX, 10baseT-FDX-flow, 100baseTX, 100baseTX-FDX, 100baseTX-FDX-flow, 1000baseT-FDX, 1000baseT-FDX-master, 1000baseT-FDX-flow, 1000baseT-FDX-flow-master, auto, auto-flow
re0: Using defaults for TSO: 65518/35/2048
re0: Ethernet address: 18:31:bf:70:12:6e

Realtek heeft een Unix driver op hun download pagina (if_re / if_re.ko).

lees net dat er een port is met die driver, net/realtek-re-kmod198. Zal die eens proberen

Linux heeft veel beter power management dan *BSD. Een netwerkkaart met Intel i210/i211/i219-LM netwerkchip werkt goed onder Linux. Onder BSD zou ik dat niet durven zeggen, mijn ervaring is verouderd.

FreeBSD loopt verder als een zonnetje en ooit meebegonnen ivm zfs. En dit draai op net geen 11W. Goed genoeg voor mij.

[tuxie6]

@RedRayMann

Jij noemt je eigen cronjob (root)
Maar die van het systeem dan?
Updates, maintenance oa diskcheck e.d

Zoals ik het lees is het reproduceerbaar, is het steeds na een bepaalde tijd of op een tijd.

[ Voor 11% gewijzigd door tuxie6 op 08-01-2025 00:16 ]

[BasilFX]

pimlie schreef op dinsdag 7 januari 2025 @ 13:58:
Dank voor je reactie, 20W is best ok idd. Ik kom helaas niet verder dan C2 op de pkg, maar dat is met 2xM2 waarvan 1 direct aan de cpu hangt. Als ik me goed herinner kan ik idd ook tot C3 komen met 1xM2, maar maakte dat maar 1W verschil uit ofzo.

Ik kom toch nog even terug op mijn resultaten.

Hierboven las ik iets over 'echo powersave > /sys/module/pcie_aspm/parameters/policy', en ik heb geen flauw idee waarom (en of) ik dit niet eerder heb geprobeerd. Tot mijn verbazing kan ik hiermee blijkbaar wel in C6 komen. Ik geloof het bijna zelf niet. Op de meter is het laagste wat ik nu heb waargenomen 14.7 W aan de stekker, maar het schommelt nu meer in de range 15-18 W (mijn server is niet zo heel idle). Mijn powersave settingszijn overigens de recommendations van Powertop, dus daar niets bijzonders, en deze had ik al.

[mrmrmr]

[quote]mca2 schreef op dinsdag 7 januari 2025 @ 23:10:
[...]

code:

re0: <RealTek 8168/8111 B/C/CP/D/DP/E/F/G PCIe Gigabit Ethernet> port 0xe000-0xe0ff mem 0xf7104000-0xf7104fff,0xf7100000-0xf7103fff irq 19 at device 0.0 on pci1
re0: Using 1 MSI-X message
re0: ASPM disabled
re0: Chip rev. 0x54000000
re0: MAC rev. 0x00100000
miibus0: <MII bus> on re0
rgephy0: <RTL8251/8153 1000BASE-T media interface> PHY 1 on miibus0
rgephy0:  none, 10baseT, 10baseT-FDX, 10baseT-FDX-flow, 100baseTX, 100baseTX-FDX, 100baseTX-FDX-flow, 1000baseT-FDX, 1000baseT-FDX-master, 1000baseT-FDX-flow, 1000baseT-FDX-flow-master, auto, auto-flow
re0: Using defaults for TSO: 65518/35/2048

Bedankt, zo te zien is ASPM uitgeschakeld in de driver/besturingssysteem/parameters.

FreeBSD loopt verder als een zonnetje en ooit meebegonnen ivm zfs. En dit draai op net geen 11W. Goed genoeg voor mij.

OpenBSD werkt wel prettig vind ik, vooral pf is een verademing. Prima voor een router, maar jammer van het verbruik. Misschien kan er 3 a 4W af met Linux.

[mrmrmr]

andru123 schreef op dinsdag 7 januari 2025 @ 18:14:
[...]

Huh, net gezien dat er zijn verschillende P4 kabels voor picoPSU modellen. 160xt heeft een al gesoldeerd, 80 gebruikt een mini-molex connector.

Ja, dat is een kleine stekker die past op een aansluitpunt. Die zouden ze tegenwoordig meteen moeten meeleveren. Er zijn al jaren zeer weinig kleine systemen die wel ATX contacten hebben maar geen processorvoedingskabel nodig hebben. In ieder geval is het oppassen dat er de kabel niet te lang is. Als je de korte kabel besteld op Pricewatch krijg je waarschijnlijk toch een lange kabel. Er zijn ook andere leveranciers die zo'n kabel voeren.

Waar gaat de molex eind van de kabel op 120? Gewoon in de Molex output? Maar dan heb ook een molex splitter ook nodig, als je een of meer HDDs gaat gebruiken.

Er zit een SATA power connector aan de 120. Daaraan kan ook een splitter worden gekoppeld.

Ik denk dat een update van die modellen er al lang had moeten zijn. Ze hebben destijds (periode 2005-2010) iemand ingehuurd voor de ontwerpen. Er zijn inmiddels betere chips van Texas Instruments en standby verbruik kan tegenwoordig ook omlaag.

[mrmrmr]

bjp schreef op dinsdag 7 januari 2025 @ 19:31:
@logitechi je kunt de P4 kabel toch gewoon in 4 van de 8 aansluiten voor de CPU?


Op mijn picoPSU 120W is er _wel_ een P4 kabel.

Heeft die een gele stekker en dubbel PCB?

[buell]

puUL schreef op dinsdag 7 januari 2025 @ 21:12:
[...]


Ja, ik denk dat je zeker een punt hebt ivm onnodige overhead hoor. Dit werd mij aangeraden omdat het NAS gedeelte (shares, zfs, ..) veel makkelijker te beheren is via Truenas. Ik ben geen Linux held, dus in mijn geval is dat laatste zeker waar. Daar geef ik graag wat overhead voor weg.

Al bij al valt het ook wel mee denk ik, een paar percentages geloof ik.

Ik heb altijd Truenas gebruikt maar ben nu aan het overstappen dat proxmox de zfs disk beheert en een debian container de samba etc doet.

voordeel is dat een proxmox backup server dan ook al je data incrementeel kan backuppen en dat je op de backup server de backup kunt doorbladeren en vanuit die server ook je data kan downloade.

Ik ben zelf ook geen debian shell expert maar heb onderstaande link als basis gebruikt en als je truenas hebt gebruikt dan is dit prima voor gewone samba shares thuis met een mooie gui.

YouTube: Turning Proxmox Into a Pretty Good NAS

[RedRayMann]

tuxie6 schreef op woensdag 8 januari 2025 @ 00:12:
@RedRayMann

Jij noemt je eigen cronjob (root)
Maar die van het systeem dan?
Updates, maintenance oa diskcheck e.d

Zoals ik het lees is het reproduceerbaar, is het steeds na een bepaalde tijd of op een tijd.

Hier moet ik mee aan de slag.
Ben vandaag erg laat thuis en denk dat ik morgen avond pas weer kan spelen.
Heb nu Nginx Proxy Manager uit en laat de server lekker 24 uur pruttelen.

Tot nu toe is het verbruik zoals verwacht.

Ik ben alleen bekend met Crontab -e
Heb je een tip waar/ hoe ik moet zoeken naar andere versies?
User is inderdaad root.

[jvwou123]

RedRayMann schreef op woensdag 8 januari 2025 @ 07:55:
[...]

Hier moet ik mee aan de slag.
Ben vandaag erg laat thuis en denk dat ik morgen avond pas weer kan spelen.
Heb nu Nginx Proxy Manager uit en laat de server lekker 24 uur pruttelen.

Tot nu toe is het verbruik zoals verwacht.

Ik ben alleen bekend met Crontab -e
Heb je een tip waar/ hoe ik moet zoeken naar andere versies?
User is inderdaad root.

code:

cat /etc/crontab # wordt normaal niet meer gebruikt, in vooral oude systemen staat deze helemaal vol ;-)
ls /etc/cron.d # hierin staan de de meeste cronjobs die door programma's worden aangemaakt
ls /etc/cron.{hourly,daily,weekly,monthly,yearly} # hier staan de crontabs in die 1x per periode uitgevoerd worden
ls /var/spool/cron/crontabs # hier staan de crontabs per gebruiker (die van "root" had je al gevonden).

die laatste: pas deze aan doormiddel van:

code:

crontab -e -l ${username}

, en niet het bestand rechtstreeks aanpassen.

In die andere kun je zien welke crontabs er zijn, en ik denk dat dat met name de

code:

/etc/crontab

en de

code:

/etc/crontab.d/

de meeste dingen staan die interessant zijn om te bekijken.

Op mijn eigen proxmox staan alleen een paar dingen die om 0:24 draaien (dus 24 0 * * * in cron), en om 3:10.
Maar dat kan bij jou anders zijn.
Ik heb wel dat tijdens het maken van een backup naar mijn NAS (om 21:00) de server meer stroom verbruikt, maar die backup is met 35 minuten klaar: de meeste machines staan uit, dus geen wijzigingen.

[ Voor 28% gewijzigd door jvwou123 op 08-01-2025 10:37 ]

[Guldan]

Ik heb een Asrock b670m pro RS moederbord. Ik had hiermee problemen zoals eerder gemeld in dit topic dat ik niet lager kwam dan C3. Nu las ik op een reddit post dat er een hidden setting disabled stond die ervoor zorgde dat ik niet alger dan C3 kwam. Om dit aan te passen diende de "SCEWIN64.exe" onderdeel van het msi download center (onder andere) gebruik te worden om deze aan te passen.

Voer onderstaande uit op eigen risico, pas geen instellingen aan waarvan je niet kan beredeneren waarvoor ze zijn

Om dit dan maar eens proberen heb ik het volgende gedaan:

1) Windows geinstalleerd (duh)
2) Een supervisor password op mijn bios ingesteld.
3) Download de helper files op de volgende url https://github.com/ab3lkaizen/SCEHUB. Dit doet niets anders dan de installer downloaden en deze ontleden zodat je alleen de bestanden overhoud die je nodig bent.
4) open powershell met administrator priveleges en dump je huidige bios instellingen met dit commando:

code:

.\SCEWIN_64.exe /o /s '.\setup_script_file.txt' /a

5). Pas de instelling `Low Power S0 Idle Capability` in het bios aan en zet deze op enabled (deze stond op disabled bij mij),

code:

.\SCEWIN_64.exe /i /lang 'en-US' /ms "Low Power S0 Idle Capability" /qv 0x1 /cpwd YOUR-BIOS-ADMIN-PASSWORD /hb

6) Controleer of de instelling is aangepast

code:

.\SCEWIN_64.exe /o /lang 'en-US' /ms "Low Power S0 Idle Capability" /hb

Deze zou nu op enabled moeten staan.

7) Herstart de machine en controleer in windows met throttlestop of je lagere c states haalt.

---

Nadat ik deze stappen had gedaan ben ik weer in proxmox gegaan en powertop gedraait:

code:

           Pkg(HW)  |            Core(HW) |            CPU(OS) 0   CPU(OS) 1
                    |                     | C0 active   0.4%        0.1%
                    |                     | POLL        0.0%    0.0 ms  0.0%    0.0 ms
                    |                     | C1E         0.6%    0.3 ms  0.3%    0.5 ms
C2 (pc2)   30.9%    |                     |
C3 (pc3)    1.3%    | C3 (cc3)    0.0%    |
C6 (pc6)    1.4%    | C6 (cc6)    0.3%    | C6          1.2%    0.9 ms  0.3%    0.9 ms
C7 (pc7)    0.0%    | C7 (cc7)   94.8%    |
C8 (pc8)   48.6%    |                     | C8          0.2%    0.9 ms  0.2%    0.8 ms
C9 (pc9)    0.0%    |                     |
C10 (pc10)  0.0%    |                     |
                    |                     | C10        97.0%   15.8 ms 98.7%   41.2 ms

Kom ik nu in C10 uit?, Nee helaas (nog) niet, maar ik kom wel lager uit.

[Mars Warrior]

Het is gelukt: Mijn K3843-B1 zit nu op BIOS R2.16

Ik ben eerst naar de "jump" BIOS gegaan, dus R1.12. Dat ging helemaal probleemloos.

Daarna naar R2.16. Dat ging wat minder omdat de "ME Utility" niet zou draaien, en dus weigerde de update door te gaan...
Na 1, 2, nee zelfs 3 reboots bleek de "ME Utility" plotseling wel te draaien, en ging de BIOS update lekker door.

Ook de EC update ging goed.

Ik merk wel dat het booten een stuk trager is. De eerste keer na de R2.16 update was het ff zweten, want het scherm bleef wel 1 minuut zwart, waar met de R1.x ik het Kontron logo zag binnen enkele seconden.

Op naar de volgende update van de hardware: mijn 2 data disks zitten op 94% vulling, en de parity disk op 96%. Ik heb nog 2 5TB schijven liggen, waarvan ik er 1 ga schucken. Die wordt dan de parity disk, en dan wordt de huidige parity disk de 3de data disk.

De backups van de diverse PC's blijken meer ruimte te nemen dan ik begin 2023 dacht met het inrichten van de server. Gelukkig is het MergerFS met SnapRaid, dus uitbreiden met een 3de disk is geen probleem.

Volgens de handleiding van SnapRaid kun je de data van je oude parity schijf gewoon overzetten met

code:

ddrescue /OLD_DISK/parity /NEW_DISK/parity /tmp/copy.log

, dus dat scheelt in het opnieuw opbouwen van de parity informatie.

Het alternatief is de 5TB schijf in 2 partities opdelen (4TB en 1TB). Dan hoef ik niks met de bestaande parity disk. De 4TB komt dan gewoon onder SnapRaid te hangen, en de 1TB als extra ruimte voor dingen van het werk. Die komt dan wel in de Crashplan backup, maar verder niet.

[ Voor 9% gewijzigd door Mars Warrior op 08-01-2025 13:23 ]

[TheMystery]

GoBieN-Be schreef op dinsdag 7 januari 2025 @ 21:25:
[...]


Van je RAM kan ik niet zo snel terugvinden wat de JEDEC profielen zijn. XMP overklok profielen zijn in principe minder zuinig. Alhoewel de spanning volgens de specs 1.10V is en dat is dan volgens mij weer de JEDEC standaard spanning.

Met 4x 3,5" HDD's zal zuinigheid sowieso een uitdaging zijn. Je zal ze wellicht ook in RAID configureren waardoor standby moeilijk is.
Hoe minder schijven hoe beter, dus misschien even kijken als je met 2x WD RED (Pro) 18, 20 of 22TB niet toekomt (of desnoods 3)?

Zelf geen ervaring met TrueNAS, ik weet wel dat de Scale variant op Linux gebaseerd is.
En als je apparaat in passtrough naar de Linux VM gaat, moet je daar in die VM de nodige energie-instellingen voor ASPM regelen.

Er zijn vast wel tutorials voor back-up kopie naar USB te vinden.

Ik zelf gebruik Veeam software voor mijn back-ups.

Bedankt, heb ook even gezocht en geheugen zou JEDEC PC5-38400U zijn.

Ik heb nu 11TB vol en nog 6TB op mijn NVR welke ook al op leeftijd is en ik waarschijnlijk over wil zetten naar frigate.
Dus met 22TB ga ik niet heel veel jaren verder komen.
Ik wil eigenlijk mijn huidige synology ds415+ met 4 disken, een hp prodesk 400 g6 en mijn NVR gaan consolideren, hiermee hoop ik het stroom verbruik terug te dringen.
Ik zou met 2x 24 ofzo kunnen beginnen maar met zfs is uitbreiding wat lastiger, dus vandaar dat ik op 4 uitkwam met een 36Tb opslag (raid z1)

[TheMystery]

andru123 schreef op dinsdag 7 januari 2025 @ 22:29:
[...]
750/850 voedingen zijn (veel) onzuiniger dan 550.
Ik ken weinig videokaarten dat meer dan 300W gebruiken. Missch. de laatste duurste modellen.

Vind niet echt de efficiency van deze voeding met b.v. 40Watt idle (wat ik wel verwacht met 4 disken) en wat de impact is.
Maar een 3090 24gb wat een beetje llm nodig zou hebben gebruikt idd 300 tot 350 watt maar dan lijkt een 550w wat weinig.

[SuperCrisz]

Ik ben een NAS aan het samenstellen waar Unraid op komt te draaien. Deze wil ik zo energiezuinig mogelijk hebben, maar er moeten wel 4x 3,5inch hdd in kunnen. De openingspost is helaas erg verouderd, dus de voorbeelden qua zuinige moederborden, zijn niet meer beschikbaar.

Nu lees ik in de openingspost dat de keuze voor het moederbord in hoge mate de mate van zuinigheid bepaalt van het systeem.

Nou zijn er PSU calculators zoals hieronder, die geven een indicatie van het stroomgebruik. Wat mij opvalt, is dat er helemaal niet wordt gevraagd om type moederbord, alleen type kast (server of mini-ITX). Er wordt op het fora van unraid wel verwezen naar dergelijke calculatoren.

1. In hoeverre bepaalt de keuze voor moederbord dan nog wel in hoge mate de zuinigheid van het systeem?
2. Als dat zeker van belang is, waarom wordt het moederbord merk niet gevraagd bij die calculatoren?
3. En wat maakt een moederbord dan zuinig/niet zuinig? Aangezien de voorbeelden in de openingspost niet courant meer zijn, is het lastig om zuinige moederborden op te zoeken die anno 2024 beschikbaar zijn

https://outervision.com/power-supply-calculator

[andru123]

TheMystery schreef op woensdag 8 januari 2025 @ 21:15:
Vind niet echt de efficiency van deze voeding met b.v. 40Watt idle (wat ik wel verwacht met 4 disken) en wat de impact is.
Maar een 3090 24gb wat een beetje llm nodig zou hebben gebruikt idd 300 tot 350 watt maar dan lijkt een 550w wat weinig.

Link naar de vergelijking van alle 3 Pure Power’s staat in de start post. 650 zit eigenlijk wel dicht bij 550 onder 100W, 750 verbruikt ~2W meer.
(Ga je echt meest energievrettende 1200€ videokaart in een zuinig server stoppen? Dat kan, jouw systeem )

[TheMystery]

andru123 schreef op woensdag 8 januari 2025 @ 21:40:
[...]
Link naar de vergelijking van alle 3 Pure Power’s staat in de start post. 650 zit eigenlijk wel dicht bij 550 onder 100W, 750 verbruikt ~2W meer.
(Ga je echt meest energievrettende 1200€ videokaart in een zuinig server stoppen? Dat kan, jouw systeem )

Nu i.i.g. nog niet veel te duur maar wie weet ooit 2de hands, maar denk dat ik beter kan koppelen met de api van ChatGPT.
2w verschil valt nog wel mee eigenlijk.

[andru123]

@SuperCrisz bladeer door gepinnde posts (pin knop boven het topic) er zijn veel recente voorbeelden van zuinige combos. Bijv. deze 6W systeem: sieuwe in "Het grote zuinige server topic - deel 3"

[Mars Warrior]

@SuperCrisz , dat komt omdat geen enkel moederbord fabrikant het idle verbruik opgeeft.

Daar kom je enkel achter door te meten, en de instellingen zo zuinig mogelijk te maken. Dat maakt dus ook uit welke Besturingssysteem je draait.

Ook de voeding is van belang, maar ook daar doet zo’n calculator werkelijk helemaal niks mee. Want wie weet niet de efficiëntie van een voeding bij een hele lage belasting.

Dus van calculator is eigenlijk weinig zeggend over het verbruik in de praktijk.

[RedRayMann]

jvwou123 schreef op woensdag 8 januari 2025 @ 10:32:
[...]

code:

cat /etc/crontab # wordt normaal niet meer gebruikt, in vooral oude systemen staat deze helemaal vol ;-)
ls /etc/cron.d # hierin staan de de meeste cronjobs die door programma's worden aangemaakt
ls /etc/cron.{hourly,daily,weekly,monthly,yearly} # hier staan de crontabs in die 1x per periode uitgevoerd worden
ls /var/spool/cron/crontabs # hier staan de crontabs per gebruiker (die van "root" had je al gevonden).

die laatste: pas deze aan doormiddel van:

code:

crontab -e -l ${username}

, en niet het bestand rechtstreeks aanpassen.

In die andere kun je zien welke crontabs er zijn, en ik denk dat dat met name de

code:

/etc/crontab

en de

code:

/etc/crontab.d/

de meeste dingen staan die interessant zijn om te bekijken.

Op mijn eigen proxmox staan alleen een paar dingen die om 0:24 draaien (dus 24 0 * * * in cron), en om 3:10.
Maar dat kan bij jou anders zijn.
Ik heb wel dat tijdens het maken van een backup naar mijn NAS (om 21:00) de server meer stroom verbruikt, maar die backup is met 35 minuten klaar: de meeste machines staan uit, dus geen wijzigingen.

Tnx, dit is info waar ik wat aan heb. Dacht altijd dat er maar 1 was. Ik ga er morgen of dit weekend induiken. (Net pas thuis, ben moe en wil naar bed :-) )

Wat mij wel opvalt, geen piek in verbruik!
Bijna 24 uur stabiel!
Minimale in de laatste 24 uur, gemiddeld 3,92 watt per uur.
Maximale in de laatste 24 uur, gemiddeld 4,22 watt per uur.
(Home Assistant meting die de gemiddelde per klokuur registreert)

Dus mogelijk dat Nginx Proxy Manager iets doet.
Ik laat hem nog 12 a 18 uur door pruttelen, want slapen en werk. Ben benieuwd of het zo blijft.

Dan het weekend Nginx Proxy Manager weer aan zetten en kijken wat er gebeurt. Dan of de oorzaak zoeken. Of overstappen naar Traefik of iets anders.

[RedRayMann]

Guldan schreef op woensdag 8 januari 2025 @ 11:10:
Nadat ik deze stappen had gedaan ben ik weer in proxmox gegaan en powertop gedraait:

code:

           Pkg(HW)  |            Core(HW) |            CPU(OS) 0   CPU(OS) 1
                    |                     | C0 active   0.4%        0.1%
                    |                     | POLL        0.0%    0.0 ms  0.0%    0.0 ms
                    |                     | C1E         0.6%    0.3 ms  0.3%    0.5 ms
C2 (pc2)   30.9%    |                     |
C3 (pc3)    1.3%    | C3 (cc3)    0.0%    |
C6 (pc6)    1.4%    | C6 (cc6)    0.3%    | C6          1.2%    0.9 ms  0.3%    0.9 ms
C7 (pc7)    0.0%    | C7 (cc7)   94.8%    |
C8 (pc8)   48.6%    |                     | C8          0.2%    0.9 ms  0.2%    0.8 ms
C9 (pc9)    0.0%    |                     |
C10 (pc10)  0.0%    |                     |
                    |                     | C10        97.0%   15.8 ms 98.7%   41.2 ms

Kom ik nu in C10 uit?, Nee helaas (nog) niet, maar ik kom wel lager uit.

Bij mij heb ik het volgende ervaren;
Powertop 2.14, max C10
Powertop 2.15, max C8

Odroid H4+ per een kale Proxmox.
In verbruik wijzigde niets.
De C3 was bij mij 2 a 2,5 watt meer.

[Mars Warrior]

@RedRayMann overweeg Caddy ipv npm, zeker met docker.

[Kanarie]

Guldan schreef op woensdag 8 januari 2025 @ 11:10:
1) Windows geinstalleerd (duh)

Heb dit onlangs ook gedaan, je hoeft windows niet te installeren. Je kunt ook een windows 11 installer USB disk maken en daar de SCEWIN bestanden op zetten.
Je kan in de windows installer met shift+f10 een command prompt openen en SCEWIN gebruiken.

[mca2]

mrmrmr schreef op woensdag 8 januari 2025 @ 02:05:
[quote]mca2 schreef op dinsdag 7 januari 2025 @ 23:10:
[...]

code:

re0: <RealTek 8168/8111 B/C/CP/D/DP/E/F/G PCIe Gigabit Ethernet> port 0xe000-0xe0ff mem 0xf7104000-0xf7104fff,0xf7100000-0xf7103fff irq 19 at device 0.0 on pci1
re0: Using 1 MSI-X message
re0: ASPM disabled
re0: Chip rev. 0x54000000
re0: MAC rev. 0x00100000
miibus0: <MII bus> on re0
rgephy0: <RTL8251/8153 1000BASE-T media interface> PHY 1 on miibus0
rgephy0:  none, 10baseT, 10baseT-FDX, 10baseT-FDX-flow, 100baseTX, 100baseTX-FDX, 100baseTX-FDX-flow, 1000baseT-FDX, 1000baseT-FDX-master, 1000baseT-FDX-flow, 1000baseT-FDX-flow-master, auto, auto-flow
re0: Using defaults for TSO: 65518/35/2048

net/realtek-re-kmod198 geïnstalleerd en dat lijkt goed te gaan.

code:

re0: <Realtek PCIe GbE Family Controller> port 0xe000-0xe0ff mem 0xf7104000-0xf7104fff,0xf7100000-0xf7103fff irq 19 at device 0.0 on pci1
re0: Using Memory Mapping!
re0: Using 1 MSI-X message
re0: ASPM disabled
re0: version:1.98.00
re0: Ethernet address: 18:31:bf:70:12:6e

This product is covered by one or more of the following patents:
US6,570,884, US6,115,776, and US6,327,625.
re0: Ethernet address: 18:31:bf:70:12:6e

Bedankt, zo te zien is ASPM uitgeschakeld in de driver/besturingssysteem/parameters.

Ja, nu ook weer. Schijnt niet triviaal te zijn met deze NICs in FreeBSD

OpenBSD werkt wel prettig vind ik, vooral pf is een verademing. Prima voor een router, maar jammer van het verbruik. Misschien kan er 3 a 4W af met Linux.

11 of 7W maakt mij niet zo heel veel uit, is al veel beter dan de 61W die het ooit eens was.

[SuperCrisz]

tnx @andru123 voor je tip over pinned berichten. Nog niet eerder gebruik van gemaakt.. in al die jaren .. haha
tnx @Mars Warrior voor je info

Ik heb het forum doorgestruind, en kom tot de volgende build. Met name de hdd's, gaat dat goed zo, of zouden jullie die anders doen? (qua zuinigheid). Er komen met name veel downloads, en foto bibliotheek op. En voor een NAS is een 2,5" schijf niet echt geschikt

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Core i3-12100 Boxed	€ 119,-	€ 119,-
1	Moederborden	Kontron K3843-B	€ 189,-	€ 189,-
2	Interne harde schijven	Seagate Exos 7E10 SATA (512e/4KN, Standard), 8TB	€ 174,-	€ 348,-
1	Behuizingen	Inter-Tech IM-1 Pocket	€ 69,09	€ 69,09
1	Geheugen intern	Crucial CT32G48C40U5	€ 81,99	€ 81,99
1	Voedingen	be quiet! Pure Power 12 M 550W	€ 91,09	€ 91,09
1	SSD's	Crucial P3 500GB (CT500P3SSD8)	€ 34,04	€ 34,04
Bekijk collectie Importeer producten			Totaal	€ 932,21

[andru123]

SuperCrisz schreef op donderdag 9 januari 2025 @ 00:09:
Ik heb het forum doorgestruind, en kom tot de volgende build. Met name de hdd's, gaat dat goed zo, of zouden jullie die anders doen? (qua zuinigheid). Er komen met name veel downloads, en foto bibliotheek op. En voor een NAS is een 2,5" schijf niet echt geschikt

Waarom niet geschikt. Heb je de sectie over HDDs in topic start al gelezen? Jouw gekozen HDD heeft hoog idle verbruik - 7W. Bijv. uitvoering: WD Red Pro (2020) (256MB cache), 12TB klaimt maar 2.8W. Ik zou overwegen een grotere zuinigere schijf, en dan als nodig uitbreiden later.
Trouwens, als je maar 2 (max 4) schijven gaat gebruiken, picoPSU met een zuinige adapter is beter dan een ATX voeding.
(Ik persoonlijk vind i5-14400 beter deal op dit moment qua prijs/prestaties, maar zelfs 12100 is meer dan genoeg voor NAS)

[ Voor 6% gewijzigd door andru123 op 09-01-2025 00:49 ]

[RedRayMann]

Mars Warrior schreef op woensdag 8 januari 2025 @ 22:37:
@RedRayMann overweeg Caddy ipv npm, zeker met docker.

Tnx, ik maak nog geen gebruik van Docker. Puur nog de Proxmox LXC's
Maar ik ga kijken naar Caddy.
Ben geen Linux held en heb wel GUI's of tutorials nodig. Dus ga mij oriënteren en kijken of ik het werkend kan krijgen :-P

Maar ben ook wel bereid om nieuwe dingen te leren, zoals nu AdGuard ipv PiHole.

Dank dat iedereen zo constructief en behulpzaam is.

[Mars Warrior]

TheMystery schreef op woensdag 8 januari 2025 @ 21:15:
[...]
Vind niet echt de efficiency van deze voeding met b.v. 40Watt idle (wat ik wel verwacht met 4 disken) en wat de impact is.
Maar een 3090 24gb wat een beetje llm nodig zou hebben gebruikt idd 300 tot 350 watt maar dan lijkt een 550w wat weinig.

Dat een "beetje" LLM al een 3090 24GB nodig zou hebben, is een beetje overdreven. Zelfs een goede LLM als Mistral 21B Small past met de juiste finetuning en quantisering (4bits iQuant) in 16GB VRAM.

Maar meestal voldoet een 13 of 14B model ook. En die past makkelijk in 16GB VRAM.

Een 4060 Ti 16GB doet met Mistral Small 21B tegen de 30 tokens/sec.

[andru123]

mrmrmr schreef op woensdag 8 januari 2025 @ 02:14:
. In ieder geval is het oppassen dat er de kabel niet te lang is. Als je de korte kabel besteld op Pricewatch krijg je waarschijnlijk toch een lange kabel. Er zijn ook andere leveranciers die zo'n kabel voeren.

Hmm ik wist niet dat er verschillende lengtes zijn. Is mijn 160-xt kabel lang of kort? Ik vind het eigenlijk te kort om fatsoenlijk te bergen, zelfs op mini-ITX bord.

[mrmrmr]

andru123 schreef op donderdag 9 januari 2025 @ 18:37:
[...]

Hmm ik wist niet dat er verschillende lengtes zijn. Is mijn 160-xt kabel lang of kort? Ik vind het eigenlijk te kort om fatsoenlijk te bergen, zelfs op mini-ITX bord.

Dat vind ik een lange kabel. De korte kabel heb ik nog nooit in het echt gezien, die lijkt op de foto niet veel langer dan 15cm.

Delock heeft ook dergelijke kabels. De 82391 is 15cm. De 65611 is 30cm.

[RedRayMann]

Update mbt het verbruik op de Odroid H4+
Ik zit nu bijna 24 48 uur op het zelfde gemiddelde gebruik, tussen 3,9 en 4,1 watt.
Ik heb Nginx Proxy Manager nu ook 24 48 uur uit staan.

Zo zet ik hem aan en update over 24 uur dit bericht. Ben benieuwd of het verbruik dan weer omhoog schiet.

Moet later maar kijken naar alternatieven of fine-tuning.

--edit--

jvwou123 schreef op woensdag 8 januari 2025 @ 10:32:

code:

cat /etc/crontab # wordt normaal niet meer gebruikt, in vooral oude systemen staat deze helemaal vol ;-)
ls /etc/cron.d # hierin staan de de meeste cronjobs die door programma's worden aangemaakt
ls /etc/cron.{hourly,daily,weekly,monthly,yearly} # hier staan de crontabs in die 1x per periode uitgevoerd worden
ls /var/spool/cron/crontabs # hier staan de crontabs per gebruiker (die van "root" had je al gevonden).

die laatste: pas deze aan doormiddel van:

code:

crontab -e -l ${username}

, en niet het bestand rechtstreeks aanpassen.

In die andere kun je zien welke crontabs er zijn, en ik denk dat dat met name de

code:

/etc/crontab

en de

code:

/etc/crontab.d/

de meeste dingen staan die interessant zijn om te bekijken.

cat /etc/crontab

code:

root@Odroid:~# cat /etc/crontab
# /etc/crontab: system-wide crontab
# Unlike any other crontab you don't have to run the `crontab'
# command to install the new version when you edit this file
# and files in /etc/cron.d. These files also have username fields,
# that none of the other crontabs do.

SHELL=/bin/sh
PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin

# Example of job definition:
# .---------------- minute (0 - 59)
# |  .------------- hour (0 - 23)
# |  |  .---------- day of month (1 - 31)
# |  |  |  .------- month (1 - 12) OR jan,feb,mar,apr ...
# |  |  |  |  .---- day of week (0 - 6) (Sunday=0 or 7) OR sun,mon,tue,wed,thu,fri,sat
# |  |  |  |  |
# *  *  *  *  * user-name command to be executed
17 *    * * *   root    cd / && run-parts --report /etc/cron.hourly
25 6    * * *   root    test -x /usr/sbin/anacron || { cd / && run-parts --report /etc/cron.daily; }
47 6    * * 7   root    test -x /usr/sbin/anacron || { cd / && run-parts --report /etc/cron.weekly; }
52 6    1 * *   root    test -x /usr/sbin/anacron || { cd / && run-parts --report /etc/cron.monthly; }
#

Elk uur om xx:17 wordt regel 1 uitgevoerd
Elke dag om 06:25 wordt regel 2 uitgevoerd
Elke week, zondag om 06:47 de 3de regel
Elke eerste van de maand de 4de regel
En dit zijn zaken die zorgen dat de taken elk uur/dag/week/maand worden uitgevoerd. Ofwel, dit zijn niet de verbruikers.

ls /etc/cron.d

code:

root@Odroid:~# ls /etc/cron.d
e2scrub_all  vzdump  zfsutils-linux

ls /etc/cron.

code:

root@Odroid:~# ls /etc/cron.hourly/
root@Odroid:~# ls /etc/cron.daily/
apt-compat  dpkg  logrotate  man-db
root@Odroid:~# ls /etc/cron.weekly/
man-db
root@Odroid:~# ls /etc/cron.monthly/
root@Odroid:~# ls /etc/cron.yearly/

ls /var/spool/cron/crontabs

code:

root@Odroid:~# ls /var/spool/cron/crontabs
root

Conclusie (volgens mij)
1 gebruiker, namelijk root
Geen jaar, maand of uur cronjobs
Wel 4 dagelijkse
Wel 1 weekelijkse
Wel 3 stuks die door programma's zijn aangemaakt.

Ik moet de bestanden nog in duiken om te kijken wat er in staat, maar dat ga ik later doen. Nu weer even een offline moment in een drukke week :-)

[ Voor 82% gewijzigd door RedRayMann op 09-01-2025 21:05 ]

[Jerie]

RedRayMann schreef op donderdag 9 januari 2025 @ 20:35:

[...]

Elke eerste van de maand de 4de regel

[...]

..om 06:52 om precies te zijn.

Die dagelijkse is logrotate van belang. Die zorgt dat de logfile indien die te groot wordt, wordt geroteerd. Dan wordt deze gecomprimeerd en naar een nieuw bestand geschreven. Daarna wordt deze niet meer aangeraakt, dus mtime in de dir is informatief. Ondertussen zorgt logging constant voor I/O. Je kunt met log2ram de logs naar RAM wegschrijven en dan eens per dag deze wegschrijven. Dat zal een server zuiniger majen met het risico dat je data mist bij powerloss.

M.i. is rsyslog en juist wel direct wegschrijven ook mogelijk waardevol omdat je dan tegen allerlei machines in je netwerk kunt zeggen: schrijf maar remote weg. Wel standaard gevoelig voor MITM.

SD kaartjes vinden log2ram trouwens fijn.

[RedRayMann]

Jerie schreef op donderdag 9 januari 2025 @ 22:18:
[...]


..om 06:52 om precies te zijn.

Die dagelijkse is logrotate van belang. Die zorgt dat de logfile indien die te groot wordt, wordt geroteerd. Dan wordt deze gecomprimeerd en naar een nieuw bestand geschreven. Daarna wordt deze niet meer aangeraakt, dus mtime in de dir is informatief. Ondertussen zorgt logging constant voor I/O. Je kunt met log2ram de logs naar RAM wegschrijven en dan eens per dag deze wegschrijven. Dat zal een server zuiniger majen met het risico dat je data mist bij powerloss.

M.i. is rsyslog en juist wel direct wegschrijven ook mogelijk waardevol omdat je dan tegen allerlei machines in je netwerk kunt zeggen: schrijf maar remote weg. Wel standaard gevoelig voor MITM.

SD kaartjes vinden log2ram trouwens fijn.

Maar dat gebeurt dus op vaste tijden. Niet 1x om 10:00 uur en de andere keer om 02:00 uur.

Log2ram had ik op de Pi's (ik draaide DietPi)
Nu is dat minder van toepassing met een NVME
Ik duik morgen in de bestanden. Tnx voor de tip

[Mich]

Guldan schreef op woensdag 8 januari 2025 @ 11:10:
Ik heb een Asrock b670m pro RS moederbord. Ik had hiermee problemen zoals eerder gemeld in dit topic dat ik niet lager kwam dan C3. Nu las ik op een reddit post dat er een hidden setting disabled stond die ervoor zorgde dat ik niet alger dan C3 kwam. Om dit aan te passen diende de "SCEWIN64.exe" onderdeel van het msi download center (onder andere) gebruik te worden om deze aan te passen.

Voer onderstaande uit op eigen risico, pas geen instellingen aan waarvan je niet kan beredeneren waarvoor ze zijn

Om dit dan maar eens proberen heb ik het volgende gedaan:

1) Windows geinstalleerd (duh)
2) Een supervisor password op mijn bios ingesteld.
3) Download de helper files op de volgende url https://github.com/ab3lkaizen/SCEHUB. Dit doet niets anders dan de installer downloaden en deze ontleden zodat je alleen de bestanden overhoud die je nodig bent.
4) open powershell met administrator priveleges en dump je huidige bios instellingen met dit commando:

code:

.\SCEWIN_64.exe /o /s '.\setup_script_file.txt' /a

5). Pas de instelling `Low Power S0 Idle Capability` in het bios aan en zet deze op enabled (deze stond op disabled bij mij),

code:

.\SCEWIN_64.exe /i /lang 'en-US' /ms "Low Power S0 Idle Capability" /qv 0x1 /cpwd YOUR-BIOS-ADMIN-PASSWORD /hb

6) Controleer of de instelling is aangepast

code:

.\SCEWIN_64.exe /o /lang 'en-US' /ms "Low Power S0 Idle Capability" /hb

Deze zou nu op enabled moeten staan.

7) Herstart de machine en controleer in windows met throttlestop of je lagere c states haalt.

---

Nadat ik deze stappen had gedaan ben ik weer in proxmox gegaan en powertop gedraait:

code:

           Pkg(HW)  |            Core(HW) |            CPU(OS) 0   CPU(OS) 1
                    |                     | C0 active   0.4%        0.1%
                    |                     | POLL        0.0%    0.0 ms  0.0%    0.0 ms
                    |                     | C1E         0.6%    0.3 ms  0.3%    0.5 ms
C2 (pc2)   30.9%    |                     |
C3 (pc3)    1.3%    | C3 (cc3)    0.0%    |
C6 (pc6)    1.4%    | C6 (cc6)    0.3%    | C6          1.2%    0.9 ms  0.3%    0.9 ms
C7 (pc7)    0.0%    | C7 (cc7)   94.8%    |
C8 (pc8)   48.6%    |                     | C8          0.2%    0.9 ms  0.2%    0.8 ms
C9 (pc9)    0.0%    |                     |
C10 (pc10)  0.0%    |                     |
                    |                     | C10        97.0%   15.8 ms 98.7%   41.2 ms

Kom ik nu in C10 uit?, Nee helaas (nog) niet, maar ik kom wel lager uit.

Je kan je text file ook openen en zoeken naar dingen als ASPM of power ofzo. Dan vind je nog misschien nog meer instellingen om aan te zetten wat kan helpen. De tekst file kan je ook in 1x weer in je BIOS wegschrijven.

[SuperCrisz]

Ik heb deze configuratie die ik wil aanschaffen (de kronton board al aangekocht gelukkig, want nu niet meer beschikbaar).

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Core i3-12100 Boxed	€ 119,-	€ 119,-
1	Moederborden	Kontron K3843-B	€ 0,-	€ 0,-
1	Interne harde schijven	WD Red Plus, 12TB	€ 294,-	€ 294,-
1	Behuizingen	Inter-Tech IM-1 Pocket	€ 69,09	€ 69,09
1	Geheugen intern	Crucial CT32G48C40U5	€ 81,99	€ 81,99
1	SSD's	Crucial P3 500GB (CT500P3SSD8)	€ 34,04	€ 34,04
Bekijk collectie Importeer producten			Totaal	€ 598,12

Ik ga er unraid op draaien, dus zonder beeldscherm etc.. een aantal dockers waaronder immich voor foto's, nextcloud, radarr, nbz download , geen plex: die draait op mijn Nvidia box.

Ik moet alleen nog voeding, uiteraard een picoPSU.

1. Kan ik het beste voor de 160 gaan, zodat ik save zit? Of kan dit met gemak een lagere? De 150 en de 90 daar is een kit voor beschikbaar incl. adapter, dus zou daar liefste voor gaan. Wat raden jullie aan https://tweakers.net/voedingen/mini-box/
2. Ik lees in deze reactie dat er nog een connector nodig gaat zijn.
   andru123 in "Het grote zuinige server topic - deel 3"
   Voor mij is dit echt abacadabra. Kan iemand me helpen wat ik precies nog moet aanschaffen? Wil wel gelijk compleet zijn

Tnx!!

[GoBieN-Be]

De picoPSU-160-XT heeft een 24pins ATX stekker en een 4pins P4 CPU stekker standaard.
Dat is volgens mij de enige waarbij dit alles inbegrepen zit.

[andru123]

GoBieN-Be schreef op vrijdag 10 januari 2025 @ 21:44:
De picoPSU-160-XT heeft een 24pins ATX stekker en een 4pins P4 CPU stekker standaard.
Dat is volgens mij de enige waarbij dit alles inbegrepen zit.
[Afbeelding]

Niet de enige, modelen 90, 150 en 160 hebben het inbegrepen, 80 en 120 - niet.

[GoBieN-Be]

maar die hebben niet allemaal een ATX 24 pins stekker dacht ik.
edit: De PicoPSU-150-XT wel. Dus enkel de 150 en 160 hebben de ATX 24pins + P4 CPU stekker.

[ Voor 44% gewijzigd door GoBieN-Be op 10-01-2025 22:05 ]

[SuperCrisz]

@GoBieN-Be
@andru123
En maakt het qua energiezuinigheid nog wat uit? Of niet, waardoor ik beste op save kan gaan en 150 of 160 moet nemen?

[andru123]

SuperCrisz schreef op vrijdag 10 januari 2025 @ 22:44:
@GoBieN-Be
@andru123
En maakt het qua energiezuinigheid nog wat uit? Of niet, waardoor ik beste op save kan gaan en 150 of 160 moet nemen?

150 is iets kleiner en past in een 1U server rack. 160 is iets groter. Verder vrij identiek.
Er waren uitgebreide tests van verschillen, mrmrmr in "Het grote zuinige server topic - deel 2"
Mini-box picoPSU PicoPSU-160-XT review door cj1
In het kort: onder 10W gebruikt 160xt ~0.5W meer dan picoPSU 80.

De i3 server van jouw gaat nooit meer dan 80W verbruiken, tenzij je heleboel disks of videocard toevoegt. Meest waarschijnlijk gaat hij op 5W draaien. Als je plan uitbreiden, neem een 150 of 160xt en een van de grotere adapters van de topic startpost.

[ Voor 3% gewijzigd door andru123 op 11-01-2025 16:14 ]

[Detmer]

Iemand nog een tip waar uitvoering: Kontron K3843-B verkrijgbaar is? Of een alternatief wat wel beschikbaar is?

[Jerie]

Detmer schreef op zaterdag 11 januari 2025 @ 15:38:
Iemand nog een tip waar uitvoering: Kontron K3843-B verkrijgbaar is? Of een alternatief wat wel beschikbaar is?

Naast PW zou ik ook even https://geizhals.de/kontr...e&hloc=pl&hloc=uk&hloc=eu in de gaten houden.

https://www.rutronik24.co...n/f5110v190/19016303.html hier staat 12 weken (als het dezelfde is?), dus dan weet je hoe lang je nog even moet wachten.

[Raynman]

Detmer schreef op zaterdag 11 januari 2025 @ 15:38:
Iemand nog een tip waar uitvoering: Kontron K3843-B verkrijgbaar is? Of een alternatief wat wel beschikbaar is?

TS linkt naar een post met een overzicht van winkels. Twaiko €230 4-8 werkdagen en anders de Duitse shops?

[Woodski]

Woodski schreef op donderdag 5 september 2024 @ 15:00:
[Afbeelding]

Nou hij is na 4 maanden terug en alive.
Via de leverancier terug naar de fabrikant en uiteindelijk vandaag weer in gebruik genomen.

Zonder verzendkosten, zonder opgave van wat er is gemaakt, zonder enige feedback tijdens het lange wachten en zonder reparatie sporen. Wellicht vervangen, ik heb geen idee.

Ik had al snel door dat dit lang zou duren en goedkoop een Asus prime b760 plus mobo gekocht als vervanger. Deze heeft probleemloos gewerkt als Proxmox server. Wel een hoger verbruik maar beter dat dan niets. En nu is deze backup server en game PC geworden.

[andru123]

5 PCIe sloten op een miniITX bord. Het zou mooi zijn. AI speelt goed met perspectief, omdat fysiek gaat het niet passen.

[mrmrmr]

Raynman schreef op zaterdag 11 januari 2025 @ 17:18:
[...]

TS linkt naar een post met een overzicht van winkels. Twaiko €230 4-8 werkdagen en anders de Duitse shops?

@Detmer

mrmrmr in "Het grote zuinige server topic - deel 3"

We zitten nu kennelijk in een periode dat er (bijna) geen voorraad meer is van de K3843-B, dat gebeurt wel vaker bij dit merk. Omdat het borden zijn met een lange productietijd komt het wel weer terug. Dat kan wel maanden duren.

Een alternatief is de K3842-Q (F5120-V191).

[RedRayMann]

Na 30 uur ineens weer een piek van 2 watt extra.

10 januari tussen 20:00 en 22:00 uur Nginx en Vaultwarden werkend gekregen
in de tussentijd een verbruik van ongeveer 4,3 watt gemiddeld
12 januari tussen 04:15 en 04:25 uur een verhoging naar 6,6 watt

Ik zie in alle CPU grafieken van de LXC's een piek tussen 03:00 uur en 05:00 uur
In de in de host een verhoging van 1,2% naar 1,3% CPU usage. Minimaal verschil maar duidelijk een verschil voor en na 04:00 uur.

Het valt ook op dat vorige keer én nu de IO-delay van 0,24% naar 0,008%

Powertop zit weer in C3

Ik ga de Cron bestanden bekijken.
Ik gooi dit bericht ook in het Proxmox topic, misschien weten ze daar wat er gaande is.

--edit--
Ik heb eerder de vraag gekregen om de cron bestanden te bekijken;

/etc/cron.d/e2scrub_all

code:

  GNU nano 7.2                                                                              /etc/cron.d/e2scrub_all                                                                                       
30 3 * * 0 root test -e /run/systemd/system || SERVICE_MODE=1 /usr/lib/x86_64-linux-gnu/e2fsprogs/e2scrub_all_cron
10 3 * * * root test -e /run/systemd/system || SERVICE_MODE=1 /sbin/e2scrub_all -A -r

Dit is wel rond 03:10 uur en toevallig ook zondag 03:30 uur
Past precies in de verhoging van vannacht.

/etc/cron.d/zfsutils-linux

code:

  GNU nano 7.2                                                                            /etc/cron.d/zfsutils-linux                                                                                      
PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin

# TRIM the first Sunday of every month.
24 0 1-7 * * root if [ $(date +\%w) -eq 0 ] && [ -x /usr/lib/zfs-linux/trim ]; then /usr/lib/zfs-linux/trim; fi

# Scrub the second Sunday of every month.
24 0 8-14 * * root if [ $(date +\%w) -eq 0 ] && [ -x /usr/lib/zfs-linux/scrub ]; then /usr/lib/zfs-linux/scrub; fi

Verhoging in verbruik waren op onderstaande momenten;
- Zondag 12 januari (2de zondag van de maand) rond 04:30 uur (4 dagen en 7 uur na boot)
- Dinsdag 7 januari (1ste dinsdag van de maand) rond 10:00 uur (17 uur na boot)
- Maandag 6 januari (1ste maandag van de maand) rond 02:00 uur (15 uur na boot)

--edit--
Zou het een scub zijn?
Ik laat het voor nu nog wel even voor wat het is. Ben benieuwd of hij later weer zelf zakt.

[ Voor 55% gewijzigd door RedRayMann op 12-01-2025 13:55 ]

[Tribunus]

Sinds een kleine week heb ik mijn systeem in elkaar gezet en opgestart. Daarbij proxmox geinstalleerd en de tips en tricks van de startpost doorgevoerd in het BIOS voor zover de opties er waren. Ik heb het Kontron K3843-B moederbord. Ik heb de optie in de BIOS wat betreft C-states aanstaan en er stond ook een optie om aan te geven wat de maximale C state zou moeten zijn, stond op auto, heb ik op 10 gezet. Helaas geen verschil.

Powertop geinstalleerd en diverse andere tweaks toegepast maar ik krijg eigenlijk niets lager dan C3.

/etc/kernel/cmdline (aangezien ik zfs gebruik)

code:

root=ZFS=rpool/ROOT/pve-1 boot=zfs intel_iommu=on nox2apic pcie_aspm=force pcie_aspm.policy=powersupersave consoleblank=15

En toch blijft de machine in C3 en is deze nog niet lager geweest, heb voor de test 2 VM's geïnstalleerd die aan staan maar verder nog niet echt iets doen.

code:

           Pkg(OS)  |            Core(OS) |            CPU(OS) 0   CPU(OS) 1
POLL        1.7%    | POLL        1.7%    | POLL        1.7%    0.1 ms  1.7%    0.1 ms
C1_ACPI     0.1%    | C1_ACPI     0.1%    | C1_ACPI     0.1%    0.2 ms  0.0%    0.2 ms
C2_ACPI     0.6%    | C2_ACPI     1.2%    | C2_ACPI     1.5%    0.8 ms  0.8%    0.9 ms
C3_ACPI    97.4%    | C3_ACPI    96.6%    | C3_ACPI    95.8%   68.1 ms 97.4%   90.2 ms

                    |            Core(OS) |            CPU(OS) 2   CPU(OS) 3
                    | POLL        1.7%    | POLL        1.7%    0.1 ms  1.7%    0.1 ms
                    | C1_ACPI     0.1%    | C1_ACPI     0.1%    0.2 ms  0.1%    0.4 ms
                    | C2_ACPI     0.6%    | C2_ACPI     1.1%    0.8 ms  0.1%    0.8 ms
                    | C3_ACPI    97.4%    | C3_ACPI    96.9%   76.4 ms 98.0%  166.2 ms

                    |            Core(OS) |            CPU(OS) 4   CPU(OS) 5
                    | POLL        1.7%    | POLL        1.7%    0.1 ms  1.7%    0.1 ms
                    | C1_ACPI     0.1%    | C1_ACPI     0.1%    0.1 ms  0.0%    0.8 ms
                    | C2_ACPI     0.8%    | C2_ACPI     1.5%    0.8 ms  0.0%    0.0 ms
                    | C3_ACPI    97.3%    | C3_ACPI    96.4%   48.8 ms 98.2%  254.2 ms

                    |            Core(OS) |            CPU(OS) 6   CPU(OS) 7
                    | POLL        1.7%    | POLL        1.7%    0.1 ms  1.7%    0.1 ms
                    | C1_ACPI     0.1%    | C1_ACPI     0.1%    0.1 ms  0.1%    0.2 ms
                    | C2_ACPI     0.5%    | C2_ACPI     0.5%    0.8 ms  0.6%    0.8 ms
                    | C3_ACPI    97.4%    | C3_ACPI    97.6%  153.9 ms 97.2%   39.2 ms

                    |            Core(OS) |            CPU(OS) 8   CPU(OS) 9
                    | POLL        1.7%    | POLL        1.7%    0.1 ms  1.7%    0.1 ms
                    | C1_ACPI     0.1%    | C1_ACPI     0.1%    0.1 ms  0.0%    0.7 ms
                    | C2_ACPI     0.2%    | C2_ACPI     0.4%    0.8 ms  0.1%    0.7 ms
                    | C3_ACPI    97.9%    | C3_ACPI    97.7%  129.7 ms 98.1%  172.2 ms

                    |            Core(OS) |            CPU(OS) 10  CPU(OS) 11
                    | POLL        1.7%    | POLL        1.7%    0.1 ms  1.7%    0.1 ms
                    | C1_ACPI     0.1%    | C1_ACPI     0.2%    0.2 ms  0.0%    0.0 ms
                    | C2_ACPI     0.2%    | C2_ACPI     0.3%    0.8 ms  0.0%    0.0 ms
                    | C3_ACPI    98.0%    | C3_ACPI    97.7%  116.7 ms 98.3%  244.9 ms

Het kan natuurlijk goed zijn dat ik ongeduldig ben, maar het lijkt mij toch dat de server na een aantal dagen wel eens een andere cstate zou moeten hebben gehad.

Ik heb 2 sata SSD's aangesloten en beide nvme sloten in gebruik, gelezen dat het laatste nog wat uit kan maken maar zorgt dit er dan voor dat ik niet lager dan 3 kom? Of mis ik nog ergens instellingen oid.

BIOS is vanuit de leverancier versie R2.12

Huidige verbruik zit nu op 10-12W met 2 VM's die dus eigenlijk niets doen.

Lees net dat ik voor mijn processor versie 2.5 van powertop moet hebben. Aangezien ik bijzonder weinig van linux weet: iemand een guide voor versie 2.15?

[mrmrmr]

Jouw powertop toont de standaard ACPI states, die gaat niet hoger dan C3. Om de Intel package C states te zien heb je een latere versie van powertop nodig, bijvoorbeeld 2.15.

Ik heb hier een versie uit 2023 geupload.
Edit: link vervangen, zodat meer dan 1 download is toegestaan (6 dagen beschikbaar).
2e link (21 dagen)

---

Gebruik maar 1 M.2 NVMe slot, een van beide slots kan een lagere package C state veroorzaken. Dat ligt aan de chipset/cpu, welke van de twee het slot aanstuurt. Maar ik heb dat zelf nooit getest met dit bord, misschien kan iemand daar meer over zeggen.

Kijk als dit is afgerond eens met top welke processen processortijd eisen. Misschien kan iemand met Proxmox ervaring verder helpen de belasting te reduceren.

[ Voor 13% gewijzigd door mrmrmr op 12-01-2025 16:39 ]