Het grote zuinige server topic - deel 3

[stormfly]

RobertMe schreef op woensdag 4 januari 2023 @ 18:19:
[...]

Mogelijk BIOS/EFI instellingen die dit voorkomen? Ik meen dat @stormfly laatst ook zoiets schreef. Dat zijn Topton systeem met Intel N5105 bleef steken op C3 en dat na het aanpassen van BIOS/EFI instellingen was verholpen.

@D43m0n ASPM voor je PCI kaarten op auto gezet?

[D43m0n]

@stormfly ik dacht wel ergens in de BIOS iets over ASPM gezien te hebben, maar kennelijk moet ik dat opnieuw doen:

code:

sudo dmesg | grep -i aspm
[    0.121002] ACPI FADT declares the system doesn't support PCIe ASPM, so disable it
[    0.219434] acpi PNP0A08:00: _OSC: OS supports [ExtendedConfig ASPM ClockPM Segments MSI HPX-Type3]
[    0.222671] acpi PNP0A08:00: FADT indicates ASPM is unsupported, using BIOS configuration
[    2.975930] r8169 0000:02:00.0: can't disable ASPM; OS doesn't have ASPM control

Met de huidige instellingen haalt het systeem 6,8W. Stel je voor wat het zou halen met een hogere Pkg...

-- EDIT --
Ik had die optie voor ASPM al aan staan in BIOS:



Maar kennelijk slikt Debian Bookworm dat niet. Ik heb "pcie_aspm=force pcie_port_pm=force" aan de kernel command line toegevoegd:

code:

[    0.000000] Command line: BOOT_IMAGE=/vmlinuz-6.0.0-6-amd64 root=/dev/mapper/vg-root ro quiet acpi_backlight=vendor consoleblank=15 pcie_aspm=force pcie_port_pm=force
[    0.019773] Kernel command line: BOOT_IMAGE=/vmlinuz-6.0.0-6-amd64 root=/dev/mapper/vg-root ro quiet acpi_backlight=vendor consoleblank=15 pcie_aspm=force pcie_port_pm=force
[    0.019836] PCIe ASPM is forcibly enabled
[    0.120756] ACPI FADT declares the system doesn't support PCIe ASPM, so disable it
[    0.218527] acpi PNP0A08:00: _OSC: OS supports [ExtendedConfig ASPM ClockPM Segments MSI HPX-Type3]
[    0.221780] acpi PNP0A08:00: FADT indicates ASPM is unsupported, using BIOS configuration

En voila:

code:

PowerTOP 2.14     Overview   Idle stats   Frequency stats   Device stats   Tunables   WakeUp                            


           Pkg(HW)  |            Core(HW) |            CPU(OS) 0
                    |                     | C0 active   0.1%
                    |                     | POLL        0.0%    0.0 ms
                    |                     | C1          0.0%    0.4 ms
C2 (pc2)    1.6%    |                     |
C3 (pc3)    0.4%    | C3 (cc3)    0.0%    | C3          0.0%    0.2 ms
C6 (pc6)    0.0%    | C6 (cc6)    0.0%    | C6          0.0%    0.3 ms
C7 (pc7)    0.0%    | C7 (cc7)   99.6%    | C7s         0.0%    0.0 ms
C8 (pc8)    6.0%    |                     | C8          4.6%    3.5 ms
C9 (pc9)    0.0%    |                     | C9          0.0%    0.8 ms
C10 (pc10) 91.1%    |                     |
                    |                     | C10        95.0%  181.4 ms
                    |                     | C1E         0.0%    0.2 ms

                    |            Core(HW) |            CPU(OS) 1
                    |                     | C0 active   0.1%
                    |                     | POLL        0.0%    0.0 ms
                    |                     | C1          0.0%    0.0 ms
                    |                     |
                    | C3 (cc3)    0.0%    | C3          0.0%    0.2 ms
                    | C6 (cc6)    0.0%    | C6          0.0%    0.2 ms
                    | C7 (cc7)   99.5%    | C7s         0.0%    0.0 ms
                    |                     | C8          3.9%    3.7 ms
                    |                     | C9          0.0%    0.0 ms
                    |                     |
                    |                     | C10        95.6%  182.5 ms
                    |                     | C1E         0.2%    1.4 ms

                    |            Core(HW) |            CPU(OS) 2
                    |                     | C0 active   0.1%
                    |                     | POLL        0.0%    0.0 ms
                    |                     | C1          0.0%    1.1 ms
                    |                     |
                    | C3 (cc3)    0.0%    | C3          0.0%    0.2 ms
                    | C6 (cc6)    0.0%    | C6          0.0%    0.2 ms
                    | C7 (cc7)   99.7%    | C7s         0.0%    0.0 ms
                    |                     | C8          3.3%    3.6 ms
                    |                     | C9          0.0%    0.0 ms
                    |                     |
                    |                     | C10        96.3%  175.5 ms
                    |                     | C1E         0.0%    0.3 ms

                    |            Core(HW) |            CPU(OS) 3
                    |                     | C0 active   0.1%
                    |                     | POLL        0.0%    0.0 ms
                    |                     | C1          0.0%    0.9 ms
                    |                     |
                    | C3 (cc3)    0.0%    | C3          0.0%    0.0 ms
                    | C6 (cc6)    0.0%    | C6          0.0%    0.3 ms
                    | C7 (cc7)   99.7%    | C7s         0.0%    0.0 ms
                    |                     | C8          3.5%    3.5 ms
                    |                     | C9          0.0%    0.0 ms
                    |                     |
                    |                     | C10        96.1%  357.1 ms
                    |                     | C1E         0.0%    0.1 ms

Pkg draait prompt op C10! Nou waarschuwt men wel voor het forceren hiervan, maar we proberen het gewoon want misschien gaat het goed:

code:

pcie_aspm=      [PCIE] Forcibly enable or disable PCIe Active State Power
                        Management.
                off     Disable ASPM.
                force   Enable ASPM even on devices that claim not to support it.
                        WARNING: Forcing ASPM on may cause system lockups.

Maar het doet wel wat met het verbruik:



Van ruim 6W tot bijna 7W idle naar 4W tot 3,5W in idle!

[ Voor 81% gewijzigd door D43m0n op 04-01-2023 20:16 ]

[D43m0n]

Correctie, het kan nog lager als je even wacht:

[GioStyle]

-

[ Voor 100% gewijzigd door GioStyle op 05-01-2023 21:09 ]

[stormfly]

D43m0n schreef op woensdag 4 januari 2023 @ 19:51:
@stormfly ik dacht wel ergens in de BIOS iets over ASPM gezien te hebben, maar kennelijk moet ik dat opnieuw doen:

code:

sudo dmesg | grep -i aspm
[    0.121002] ACPI FADT declares the system doesn't support PCIe ASPM, so disable it
[    0.219434] acpi PNP0A08:00: _OSC: OS supports [ExtendedConfig ASPM ClockPM Segments MSI HPX-Type3]
[    0.222671] acpi PNP0A08:00: FADT indicates ASPM is unsupported, using BIOS configuration
[    2.975930] r8169 0000:02:00.0: can't disable ASPM; OS doesn't have ASPM control

Met de huidige instellingen haalt het systeem 6,8W. Stel je voor wat het zou halen met een hogere Pkg...

-- EDIT --
Ik had die optie voor ASPM al aan staan in BIOS:

[Afbeelding]

Maar kennelijk slikt Debian Bookworm dat niet. Ik heb "pcie_aspm=force pcie_port_pm=force" aan de kernel command line toegevoegd:

code:

[    0.000000] Command line: BOOT_IMAGE=/vmlinuz-6.0.0-6-amd64 root=/dev/mapper/vg-root ro quiet acpi_backlight=vendor consoleblank=15 pcie_aspm=force pcie_port_pm=force
[    0.019773] Kernel command line: BOOT_IMAGE=/vmlinuz-6.0.0-6-amd64 root=/dev/mapper/vg-root ro quiet acpi_backlight=vendor consoleblank=15 pcie_aspm=force pcie_port_pm=force
[    0.019836] PCIe ASPM is forcibly enabled
[    0.120756] ACPI FADT declares the system doesn't support PCIe ASPM, so disable it
[    0.218527] acpi PNP0A08:00: _OSC: OS supports [ExtendedConfig ASPM ClockPM Segments MSI HPX-Type3]
[    0.221780] acpi PNP0A08:00: FADT indicates ASPM is unsupported, using BIOS configuration

En voila:

code:

PowerTOP 2.14     Overview   Idle stats   Frequency stats   Device stats   Tunables   WakeUp                            


           Pkg(HW)  |            Core(HW) |            CPU(OS) 0
                    |                     | C0 active   0.1%
                    |                     | POLL        0.0%    0.0 ms
                    |                     | C1          0.0%    0.4 ms
C2 (pc2)    1.6%    |                     |
C3 (pc3)    0.4%    | C3 (cc3)    0.0%    | C3          0.0%    0.2 ms
C6 (pc6)    0.0%    | C6 (cc6)    0.0%    | C6          0.0%    0.3 ms
C7 (pc7)    0.0%    | C7 (cc7)   99.6%    | C7s         0.0%    0.0 ms
C8 (pc8)    6.0%    |                     | C8          4.6%    3.5 ms
C9 (pc9)    0.0%    |                     | C9          0.0%    0.8 ms
C10 (pc10) 91.1%    |                     |
                    |                     | C10        95.0%  181.4 ms
                    |                     | C1E         0.0%    0.2 ms

                    |            Core(HW) |            CPU(OS) 1
                    |                     | C0 active   0.1%
                    |                     | POLL        0.0%    0.0 ms
                    |                     | C1          0.0%    0.0 ms
                    |                     |
                    | C3 (cc3)    0.0%    | C3          0.0%    0.2 ms
                    | C6 (cc6)    0.0%    | C6          0.0%    0.2 ms
                    | C7 (cc7)   99.5%    | C7s         0.0%    0.0 ms
                    |                     | C8          3.9%    3.7 ms
                    |                     | C9          0.0%    0.0 ms
                    |                     |
                    |                     | C10        95.6%  182.5 ms
                    |                     | C1E         0.2%    1.4 ms

                    |            Core(HW) |            CPU(OS) 2
                    |                     | C0 active   0.1%
                    |                     | POLL        0.0%    0.0 ms
                    |                     | C1          0.0%    1.1 ms
                    |                     |
                    | C3 (cc3)    0.0%    | C3          0.0%    0.2 ms
                    | C6 (cc6)    0.0%    | C6          0.0%    0.2 ms
                    | C7 (cc7)   99.7%    | C7s         0.0%    0.0 ms
                    |                     | C8          3.3%    3.6 ms
                    |                     | C9          0.0%    0.0 ms
                    |                     |
                    |                     | C10        96.3%  175.5 ms
                    |                     | C1E         0.0%    0.3 ms

                    |            Core(HW) |            CPU(OS) 3
                    |                     | C0 active   0.1%
                    |                     | POLL        0.0%    0.0 ms
                    |                     | C1          0.0%    0.9 ms
                    |                     |
                    | C3 (cc3)    0.0%    | C3          0.0%    0.0 ms
                    | C6 (cc6)    0.0%    | C6          0.0%    0.3 ms
                    | C7 (cc7)   99.7%    | C7s         0.0%    0.0 ms
                    |                     | C8          3.5%    3.5 ms
                    |                     | C9          0.0%    0.0 ms
                    |                     |
                    |                     | C10        96.1%  357.1 ms
                    |                     | C1E         0.0%    0.1 ms

Pkg draait prompt op C10! Nou waarschuwt men wel voor het forceren hiervan, maar we proberen het gewoon want misschien gaat het goed:

code:

pcie_aspm=      [PCIE] Forcibly enable or disable PCIe Active State Power
                        Management.
                off     Disable ASPM.
                force   Enable ASPM even on devices that claim not to support it.
                        WARNING: Forcing ASPM on may cause system lockups.

Maar het doet wel wat met het verbruik:

[Afbeelding]

Van ruim 6W tot bijna 7W idle naar 4W tot 3,5W in idle!

Ik heb deze lijnen met ASPM in de bios op auto, is dit dan ook niet ingeschakeld?

code:

[    0.386922] acpi PNP0A08:00: _OSC: OS supports [ExtendedConfig ASPM ClockPM Segments MSI EDR HPX-Type3]
[    0.392491] acpi PNP0A08:00: FADT indicates ASPM is unsupported, using BIOS configuration

Wat haal je met alleen deze?

code:

pcie_port_pm=   [PCIE] PCIe port power management handling:
                off     Disable power management of all PCIe ports
                force   Forcibly enable power management of all PCIe ports

Deze heeft geen warnings vermeld staan.

[D43m0n]

@stormfly met alleen "pcie_port_pm=force" blijft PowerTOP op C3 staan en is het idle verbruik weer naar 6,3W bij 17 wakeups/second.

Ik heb 2 SSD's in dit systeempje zitten; een NVMe van 256 GB en een SATA SSD van 2TB. Die laatste zit er wel in, maar daar had ik nog geen filesystem op gemaakt en dus ook nog niet gemount. Dat heb ik net gedaan en dan blijft de Pkg op C2 hangen. Na een tijdje zakt ie weer naar C10. Ik dacht dat ik ook iets als "lazy ext4" of zo zag. Ik heb 1 LVM volume gemaakt op die 2TB SSD. Ik laat 'm vannacht zo staan (met dit verbruik merk je daar toch niets van ).

Als het systeem morgen "gewoon" reageert, dan denk ik dat die "pcie_aspm=force" op zich geen kwaad kan. Op dit systeem. Met deze kernel versie.

Als iemand weet waarom Debian (Bookworm) claimt ASPM niet te ondersteunen terwijl het in BIOS wel aan staat?

[begintmeta]

begintmeta schreef op donderdag 24 november 2022 @ 21:05:
mijn servertje (Supermicro X10SBA, picopsu 80W met de destijds efficientste AC-DC-adapter en 1 3.5", en 1 2.5" hdd en 2 SDDs) is aan vervanging toe....

Ik ben nu echt aan het tijfelen om een Synology DS923+ ete kopen, een kant en klaar servertje of weer een zelfbouw-servertje. Ik gebruik het ding m.n. voor opslag, agenda/webserver en ik wil er ook meer RStudio/visual code/pluto notebooks op gaan doen. Zal dit topic maar eens goed doornemen, en advies is eventueel ook heel welkom

Heb het verbruik van de huidige server over de afgelopen weken eens gemeten, gemiddeld 0,40kWh/dag (mail, webserver/CalDAV/CardDAV & mediaserver). Een vervangend apparaat zou eigenlijk niet echt meer moeten vragen, maar ik moet nu toch echt meer storage (en redundantie), en liefst ook wat meer andere serverfuncties (zoals het genoemde Rstudio). Dan zal het verbruik ook wat hoger uitpakken denk ik.

Is zo’n kant en klare NAS een goede optie (qua verbruik zit die DS923 op 12-36W als ik Synology mag geloven), of toch weer zelfbouw?

[mrmrmr]

D43m0n schreef op woensdag 4 januari 2023 @ 21:11:
Als iemand weet waarom Debian (Bookworm) claimt ASPM niet te ondersteunen terwijl het in BIOS wel aan staat?

Het gaat over pcie, dus daar moet de oorzaak worden gezocht. Uiteraard moet ASPM aanstaan in de BIOS. Probeer eens een voor een de pcie apparaten eruit te halen. Dat gaat meestal om een insteekkaart of een M.2 onderdeel.

[andru123]

@D43m0n wat gebruik je om te meten en die grafieken tonen?

[D43m0n]

mrmrmr schreef op donderdag 5 januari 2023 @ 04:03:
[...]


Het gaat over pcie, dus daar moet de oorzaak worden gezocht. Uiteraard moet ASPM aanstaan in de BIOS. Probeer eens een voor een de pcie apparaten eruit te halen. Dat gaat meestal om een insteekkaart of een M.2 onderdeel.

Er zit alleen een NVMe schijf in, die kan ik eruit halen maar daar staat het OS nu op. Ik zie dat de r8169 driver (firmware?) ook iets roept over ASPM. Ik heb de non-free firmware voor de onboard Realtek NIC moeten installeren om een melding over die firmware weg te krijgen. De NIC deed het gek genoeg wel met de default (free) firmware. De Intel WiFi M.2 insteek kaart heb ik er al uitgehaald en volgens mij in het BIOS ook uitgezet. Volgens mij kan ik alleen de NVMe SSD eruit halen en dan zou ik van een USB-stick kunnen booten. Dan sluit ik ook direct de non-free realtek-firmware uit.

@andru123 ik heb een aantal Shelly Plugs die ik via MQTT met Home Assistant kan besturen. Ik stuur vanuit Home Assistant meetgegevens door naar InfluxDB/Grafana. De screenshots zijn van Grafana.

[D43m0n]

@mrmrmr ASPM lijkt wel enabled.

De Realtek onboard NIC:

code:

02:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8111/8168/8411 PCI Express Gigabit Ethernet Controller (rev 15)                                                                                                     [17/800]
        Subsystem: Hewlett-Packard Company RTL8111/8168/8411 PCI Express Gigabit Ethernet Controller
        Control: I/O+ Mem+ BusMaster+ SpecCycle- MemWINV- VGASnoop- ParErr- Stepping- SERR+ FastB2B- DisINTx+
        Status: Cap+ 66MHz- UDF- FastB2B- ParErr- DEVSEL=fast >TAbort- <TAbort- <MAbort- >SERR- <PERR- INTx-
        Latency: 0, Cache Line Size: 64 bytes           
        Interrupt: pin A routed to IRQ 16                                                                             
        IOMMU group: 10                                   
        Region 0: I/O ports at 3000 [size=256]
        Region 2: Memory at f1004000 (64-bit, non-prefetchable) [size=4K]
        Region 4: Memory at f1000000 (64-bit, non-prefetchable) [size=16K]
        Capabilities: [40] Power Management version 3                                                                 
                Flags: PMEClk- DSI- D1+ D2+ AuxCurrent=375mA PME(D0+,D1+,D2+,D3hot+,D3cold+)
                Status: D0 NoSoftRst+ PME-Enable- DSel=0 DScale=0 PME-    
        Capabilities: [50] MSI: Enable- Count=1/1 Maskable- 64bit+  
                Address: 0000000000000000  Data: 0000
        Capabilities: [70] Express (v2) Endpoint, MSI 01
                DevCap: MaxPayload 128 bytes, PhantFunc 0, Latency L0s <512ns, L1 <64us
                        ExtTag- AttnBtn- AttnInd- PwrInd- RBE+ FLReset- SlotPowerLimit 10W
                DevCtl: CorrErr+ NonFatalErr+ FatalErr+ UnsupReq+
                        RlxdOrd+ ExtTag- PhantFunc- AuxPwr- NoSnoop-
                        MaxPayload 128 bytes, MaxReadReq 4096 bytes
                DevSta: CorrErr+ NonFatalErr- FatalErr- UnsupReq- AuxPwr+ TransPend-
                LnkCap: Port #0, Speed 2.5GT/s, Width x1, ASPM L0s L1, Exit Latency L0s unlimited, L1 <64us
                        ClockPM+ Surprise- LLActRep- BwNot- ASPMOptComp+
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
                        ExtSynch- ClockPM+ AutWidDis- BWInt- AutBWInt-
                LnkSta: Speed 2.5GT/s, Width x1
                        TrErr- Train- SlotClk+ DLActive- BWMgmt- ABWMgmt-
                DevCap2: Completion Timeout: Range ABCD, TimeoutDis+ NROPrPrP- LTR+
                         10BitTagComp- 10BitTagReq- OBFF Via message/WAKE#, ExtFmt- EETLPPrefix-
                         EmergencyPowerReduction Not Supported, EmergencyPowerReductionInit-
                         FRS- TPHComp- ExtTPHComp-
                         AtomicOpsCap: 32bit- 64bit- 128bitCAS-
                DevCtl2: Completion Timeout: 50us to 50ms, TimeoutDis- LTR+ 10BitTagReq- OBFF Disabled,
                         AtomicOpsCtl: ReqEn-
                LnkCap2: Supported Link Speeds: 2.5GT/s, Crosslink- Retimer- 2Retimers- DRS-
                LnkCtl2: Target Link Speed: 2.5GT/s, EnterCompliance- SpeedDis-
                         Transmit Margin: Normal Operating Range, EnterModifiedCompliance- ComplianceSOS-
                         Compliance Preset/De-emphasis: -6dB de-emphasis, 0dB preshoot
                LnkSta2: Current De-emphasis Level: -6dB, EqualizationComplete- EqualizationPhase1-
                         EqualizationPhase2- EqualizationPhase3- LinkEqualizationRequest-
                         Retimer- 2Retimers- CrosslinkRes: unsupported
        Capabilities: [b0] MSI-X: Enable+ Count=4 Masked-
                Vector table: BAR=4 offset=00000000
                PBA: BAR=4 offset=00000800
        Capabilities: [100 v2] Advanced Error Reporting
                UESta:  DLP- SDES- TLP- FCP- CmpltTO- CmpltAbrt- UnxCmplt- RxOF- MalfTLP- ECRC- UnsupReq- ACSViol-
                UEMsk:  DLP- SDES- TLP- FCP- CmpltTO- CmpltAbrt- UnxCmplt- RxOF- MalfTLP- ECRC- UnsupReq- ACSViol-
                UESvrt: DLP+ SDES+ TLP- FCP+ CmpltTO- CmpltAbrt- UnxCmplt- RxOF+ MalfTLP+ ECRC- UnsupReq- ACSViol-
                CESta:  RxErr- BadTLP- BadDLLP- Rollover- Timeout- AdvNonFatalErr-
                CEMsk:  RxErr- BadTLP- BadDLLP- Rollover- Timeout- AdvNonFatalErr+
                AERCap: First Error Pointer: 00, ECRCGenCap+ ECRCGenEn- ECRCChkCap+ ECRCChkEn-
                        MultHdrRecCap- MultHdrRecEn- TLPPfxPres- HdrLogCap-
                HeaderLog: 00000000 00000000 00000000 00000000
        Capabilities: [140 v1] Virtual Channel
                Caps:   LPEVC=0 RefClk=100ns PATEntryBits=1
                Arb:    Fixed- WRR32- WRR64- WRR128-
                Ctrl:   ArbSelect=Fixed
                Status: InProgress-
                VC0:    Caps:   PATOffset=00 MaxTimeSlots=1 RejSnoopTrans-
                        Arb:    Fixed- WRR32- WRR64- WRR128- TWRR128- WRR256-
                        Ctrl:   Enable+ ID=0 ArbSelect=Fixed TC/VC=ff
                        Status: NegoPending- InProgress-
        Capabilities: [160 v1] Device Serial Number 01-00-00-00-68-4c-e0-00
        Capabilities: [170 v1] Latency Tolerance Reporting
                Max snoop latency: 3145728ns
                Max no snoop latency: 3145728ns
        Capabilities: [178 v1] L1 PM Substates
                L1SubCap: PCI-PM_L1.2+ PCI-PM_L1.1+ ASPM_L1.2+ ASPM_L1.1+ L1_PM_Substates+
                          PortCommonModeRestoreTime=150us PortTPowerOnTime=150us
                L1SubCtl1: PCI-PM_L1.2- PCI-PM_L1.1- ASPM_L1.2- ASPM_L1.1-
                           T_CommonMode=0us LTR1.2_Threshold=81920ns
                L1SubCtl2: T_PwrOn=150us
        Kernel driver in use: r8169
        Kernel modules: r8169

En de NVMe SSD ook:

code:

01:00.0 Non-Volatile memory controller: Phison Electronics Corporation PS5013 E13 NVMe Controller (rev 01) (prog-if 02 [NVM Express])
        Subsystem: Phison Electronics Corporation PS5013 E13 NVMe Controller                                      
        Control: I/O- Mem+ BusMaster+ SpecCycle- MemWINV- VGASnoop- ParErr- Stepping- SERR+ FastB2B- DisINTx+
        Status: Cap+ 66MHz- UDF- FastB2B- ParErr- DEVSEL=fast >TAbort- <TAbort- <MAbort- >SERR- <PERR- INTx-
        Latency: 0                                                                                                    
        Interrupt: pin A routed to IRQ 16                                                                             
        NUMA node: 0                                                                                                  
        IOMMU group: 9                        
        Region 0: Memory at f1100000 (64-bit, non-prefetchable) [size=16K]
        Capabilities: [80] Express (v2) Endpoint, MSI 00
                DevCap: MaxPayload 256 bytes, PhantFunc 0, Latency L0s unlimited, L1 unlimited
                        ExtTag+ AttnBtn- AttnInd- PwrInd- RBE+ FLReset+ SlotPowerLimit 25W                                                                                                                                                  
                DevCtl: CorrErr+ NonFatalErr+ FatalErr+ UnsupReq+                                   
                        RlxdOrd+ ExtTag+ PhantFunc- AuxPwr- NoSnoop+ FLReset-                                
                        MaxPayload 256 bytes, MaxReadReq 512 bytes                                          
                DevSta: CorrErr- NonFatalErr- FatalErr- UnsupReq- AuxPwr- TransPend-
                LnkCap: Port #1, Speed 8GT/s, Width x4, ASPM L1, Exit Latency L1 unlimited                            
                        ClockPM- Surprise- LLActRep- BwNot- ASPMOptComp+
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
                        ExtSynch- ClockPM- AutWidDis- BWInt- AutBWInt-   
                LnkSta: Speed 8GT/s, Width x4                                                                         
                        TrErr- Train- SlotClk+ DLActive- BWMgmt- ABWMgmt-                                             
                DevCap2: Completion Timeout: Range ABCD, TimeoutDis+ NROPrPrP- LTR+         
                         10BitTagComp- 10BitTagReq- OBFF Not Supported, ExtFmt+ EETLPPrefix-
                         EmergencyPowerReduction Not Supported, EmergencyPowerReductionInit-
                         FRS- TPHComp- ExtTPHComp-   
                         AtomicOpsCap: 32bit- 64bit- 128bitCAS-
                DevCtl2: Completion Timeout: 50us to 50ms, TimeoutDis- LTR+ 10BitTagReq- OBFF Disabled,
                         AtomicOpsCtl: ReqEn-                                                                         
                LnkCap2: Supported Link Speeds: 2.5-8GT/s, Crosslink- Retimer- 2Retimers- DRS-
                LnkCtl2: Target Link Speed: 8GT/s, EnterCompliance- SpeedDis-
                         Transmit Margin: Normal Operating Range, EnterModifiedCompliance- ComplianceSOS-
                         Compliance Preset/De-emphasis: -6dB de-emphasis, 0dB preshoot
                LnkSta2: Current De-emphasis Level: -6dB, EqualizationComplete+ EqualizationPhase1+
                         EqualizationPhase2+ EqualizationPhase3+ LinkEqualizationRequest-
                         Retimer- 2Retimers- CrosslinkRes: unsupported
        Capabilities: [d0] MSI-X: Enable+ Count=9 Masked-
                Vector table: BAR=0 offset=00002000
                PBA: BAR=0 offset=00003000
        Capabilities: [e0] MSI: Enable- Count=1/8 Maskable+ 64bit+
                Address: 0000000000000000  Data: 0000
                Masking: 00000000  Pending: 00000000
        Capabilities: [f8] Power Management version 3
                Flags: PMEClk- DSI- D1- D2- AuxCurrent=0mA PME(D0-,D1-,D2-,D3hot-,D3cold-)
                Status: D0 NoSoftRst+ PME-Enable- DSel=0 DScale=0 PME-
        Capabilities: [100 v1] Latency Tolerance Reporting
                Max snoop latency: 3145728ns
                Max no snoop latency: 3145728ns
        Capabilities: [110 v1] L1 PM Substates
                L1SubCap: PCI-PM_L1.2+ PCI-PM_L1.1+ ASPM_L1.2+ ASPM_L1.1+ L1_PM_Substates+
                          PortCommonModeRestoreTime=10us PortTPowerOnTime=220us
                L1SubCtl1: PCI-PM_L1.2+ PCI-PM_L1.1+ ASPM_L1.2+ ASPM_L1.1+
                           T_CommonMode=0us LTR1.2_Threshold=262144ns
                L1SubCtl2: T_PwrOn=220us
        Capabilities: [200 v2] Advanced Error Reporting
                UESta:  DLP- SDES- TLP- FCP- CmpltTO- CmpltAbrt- UnxCmplt- RxOF- MalfTLP- ECRC- UnsupReq- ACSViol-
                UEMsk:  DLP- SDES- TLP- FCP- CmpltTO- CmpltAbrt- UnxCmplt- RxOF- MalfTLP- ECRC- UnsupReq- ACSViol-
                UESvrt: DLP+ SDES- TLP- FCP+ CmpltTO- CmpltAbrt- UnxCmplt- RxOF- MalfTLP+ ECRC- UnsupReq- ACSViol-
                CESta:  RxErr- BadTLP- BadDLLP- Rollover- Timeout- AdvNonFatalErr-
                CEMsk:  RxErr- BadTLP- BadDLLP- Rollover- Timeout- AdvNonFatalErr+
                AERCap: First Error Pointer: 00, ECRCGenCap- ECRCGenEn- ECRCChkCap+ ECRCChkEn-
                        MultHdrRecCap- MultHdrRecEn- TLPPfxPres- HdrLogCap-
                HeaderLog: 00000000 00000000 00000000 00000000
        Capabilities: [300 v1] Secondary PCI Express
                LnkCtl3: LnkEquIntrruptEn- PerformEqu-
                LaneErrStat: 0
        Kernel driver in use: nvme
        Kernel modules: nvme

en beide PCI bridges ook (ik laat er maar 1 zien hier):

code:

00:1c.0 PCI bridge: Intel Corporation Cannon Lake PCH PCI Express Root Port #5 (rev f0) (prog-if 00 [Normal decode])                                                                                                                        
        Subsystem: Hewlett-Packard Company Cannon Lake PCH PCI Express Root Port                                                                                                                                                            
        Control: I/O+ Mem+ BusMaster+ SpecCycle- MemWINV- VGASnoop- ParErr- Stepping- SERR+ FastB2B- DisINTx+                                                                                                                               
        Status: Cap+ 66MHz- UDF- FastB2B- ParErr- DEVSEL=fast >TAbort- <TAbort- <MAbort- >SERR- <PERR- INTx-                                                                                                                                
        Latency: 0                                                                                                                                                                                                                          
        Interrupt: pin A routed to IRQ 123                                                                                                                                                                                                  
        IOMMU group: 7                                                                                                                                                                                                                      
        Bus: primary=00, secondary=02, subordinate=02, sec-latency=0                                                                                                                                                                        
        I/O behind bridge: 3000-3fff [size=4K] [16-bit]                                                                                                                                                                                     
        Memory behind bridge: f1000000-f10fffff [size=1M] [32-bit]                                                                                                                                                                          
        Prefetchable memory behind bridge: [disabled] [64-bit]                                                                                                                                                                              
        Secondary status: 66MHz- FastB2B- ParErr- DEVSEL=fast >TAbort- <TAbort- <MAbort+ <SERR- <PERR-                                                                                                                                      
        BridgeCtl: Parity- SERR+ NoISA- VGA- VGA16- MAbort- >Reset- FastB2B-                                                                                                                                                                
                PriDiscTmr- SecDiscTmr- DiscTmrStat- DiscTmrSERREn-                                                                                                                                                                         
        Capabilities: [40] Express (v2) Root Port (Slot+), MSI 00                                                                                                                                                                           
                DevCap: MaxPayload 256 bytes, PhantFunc 0                                                                                                                                                                                   
                        ExtTag- RBE+                                                                                                                                                                                                        
                DevCtl: CorrErr+ NonFatalErr+ FatalErr+ UnsupReq+                                                                                                                                                                           
                        RlxdOrd- ExtTag- PhantFunc- AuxPwr- NoSnoop-                                                                                                                                                                        
                        MaxPayload 128 bytes, MaxReadReq 128 bytes                                                                                                                                                                          
                DevSta: CorrErr- NonFatalErr- FatalErr- UnsupReq- AuxPwr+ TransPend-                                                                                                                                                        
                LnkCap: Port #5, Speed 8GT/s, Width x1, ASPM L0s L1, Exit Latency L0s <1us, L1 <16us                                                                                                                                        
                        ClockPM- Surprise- LLActRep+ BwNot+ ASPMOptComp+                                                                                                                                                                    
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+                                                                                                                                                                   
                        ExtSynch- ClockPM- AutWidDis- BWInt- AutBWInt-                                                                                                                                                                      
                LnkSta: Speed 2.5GT/s, Width x1                                                                                                                                                                                             
                        TrErr- Train- SlotClk+ DLActive+ BWMgmt+ ABWMgmt-                                                                                                                                                                   
                SltCap: AttnBtn- PwrCtrl- MRL- AttnInd- PwrInd- HotPlug- Surprise-                                                                                                                                                          
                        Slot #4, PowerLimit 10W; Interlock- NoCompl+                                                                                                                                                                        
                SltCtl: Enable: AttnBtn- PwrFlt- MRL- PresDet- CmdCplt- HPIrq- LinkChg-                                                                                                                                                     
                        Control: AttnInd Unknown, PwrInd Unknown, Power- Interlock-                                                                                                                                                         
                SltSta: Status: AttnBtn- PowerFlt- MRL- CmdCplt- PresDet+ Interlock-                                                                                                                                                        
                        Changed: MRL- PresDet- LinkState+                                                                                                                                                                                   
                RootCap: CRSVisible-                                                                                                                                                                                                        
                RootCtl: ErrCorrectable- ErrNon-Fatal- ErrFatal- PMEIntEna+ CRSVisible-                                                                                                                                                     
                RootSta: PME ReqID 0000, PMEStatus- PMEPending-                                                                                                                                                                             
                DevCap2: Completion Timeout: Range ABC, TimeoutDis+ NROPrPrP- LTR+                                                                                                                                                          
                         10BitTagComp- 10BitTagReq- OBFF Not Supported, ExtFmt- EETLPPrefix-                                                                                                                                                
                         EmergencyPowerReduction Not Supported, EmergencyPowerReductionInit-                                                                                                                                                
                         FRS- LN System CLS Not Supported, TPHComp- ExtTPHComp- ARIFwd+                                                                                                                                                     
                         AtomicOpsCap: Routing- 32bit- 64bit- 128bitCAS-                                                                                                                                                                    
                DevCtl2: Completion Timeout: 50us to 50ms, TimeoutDis- LTR+ 10BitTagReq- OBFF Disabled, ARIFwd-                                                                                                                             
                         AtomicOpsCtl: ReqEn- EgressBlck-                                                                                                                                                                                   
                LnkCap2: Supported Link Speeds: 2.5-8GT/s, Crosslink- Retimer- 2Retimers- DRS-                                                                                                                                              
                LnkCtl2: Target Link Speed: 8GT/s, EnterCompliance- SpeedDis-                                                                                                                                                               
                         Transmit Margin: Normal Operating Range, EnterModifiedCompliance- ComplianceSOS-                                                                                                                                   
                         Compliance Preset/De-emphasis: -6dB de-emphasis, 0dB preshoot                                                                                                                                                      
                LnkSta2: Current De-emphasis Level: -3.5dB, EqualizationComplete- EqualizationPhase1-                                                                                                                                       
                         EqualizationPhase2- EqualizationPhase3- LinkEqualizationRequest-                                                                                                                                                   
                         Retimer- 2Retimers- CrosslinkRes: unsupported                 
        Capabilities: [80] MSI: Enable+ Count=1/1 Maskable- 64bit-                                                                                                                                                                          
                Address: fee00238  Data: 0000                                                                                                                                                                                               
        Capabilities: [90] Subsystem: Hewlett-Packard Company Cannon Lake PCH PCI Express Root Port                                                                                                                                         
        Capabilities: [a0] Power Management version 3                                                                                                                                                                                       
                Flags: PMEClk- DSI- D1- D2- AuxCurrent=0mA PME(D0+,D1-,D2-,D3hot+,D3cold+)                                                                                                                                                  
                Status: D0 NoSoftRst- PME-Enable- DSel=0 DScale=0 PME-                                                                                                                                                                      
        Capabilities: [100 v1] Advanced Error Reporting                                                                                                                                                                                     
                UESta:  DLP- SDES- TLP- FCP- CmpltTO- CmpltAbrt- UnxCmplt- RxOF- MalfTLP- ECRC- UnsupReq- ACSViol-                                                                                                                          
                UEMsk:  DLP- SDES- TLP- FCP- CmpltTO- CmpltAbrt- UnxCmplt+ RxOF- MalfTLP- ECRC- UnsupReq- ACSViol-
                UESvrt: DLP+ SDES- TLP- FCP- CmpltTO- CmpltAbrt- UnxCmplt- RxOF+ MalfTLP+ ECRC- UnsupReq- ACSViol-
                CESta:  RxErr- BadTLP- BadDLLP- Rollover- Timeout- AdvNonFatalErr-
                CEMsk:  RxErr- BadTLP- BadDLLP- Rollover- Timeout- AdvNonFatalErr+
                AERCap: First Error Pointer: 00, ECRCGenCap- ECRCGenEn- ECRCChkCap- ECRCChkEn-
                        MultHdrRecCap- MultHdrRecEn- TLPPfxPres- HdrLogCap-
                HeaderLog: 00000000 00000000 00000000 00000000
                RootCmd: CERptEn+ NFERptEn+ FERptEn+
                RootSta: CERcvd- MultCERcvd- UERcvd- MultUERcvd-
                         FirstFatal- NonFatalMsg- FatalMsg- IntMsg 0
                ErrorSrc: ERR_COR: 0200 ERR_FATAL/NONFATAL: 0000
        Capabilities: [140 v1] Access Control Services
                ACSCap: SrcValid+ TransBlk+ ReqRedir+ CmpltRedir+ UpstreamFwd- EgressCtrl- DirectTrans-
                ACSCtl: SrcValid+ TransBlk- ReqRedir+ CmpltRedir+ UpstreamFwd- EgressCtrl- DirectTrans-
        Capabilities: [150 v1] Precision Time Measurement
                PTMCap: Requester:- Responder:+ Root:+
                PTMClockGranularity: 4ns
                PTMControl: Enabled:+ RootSelected:+
                PTMEffectiveGranularity: Unknown
        Capabilities: [220 v1] Secondary PCI Express
                LnkCtl3: LnkEquIntrruptEn- PerformEqu-
                LaneErrStat: 0
        Capabilities: [250 v1] Downstream Port Containment
                DpcCap: INT Msg #0, RPExt+ PoisonedTLP+ SwTrigger+ RP PIO Log 4, DL_ActiveErr+
                DpcCtl: Trigger:1 Cmpl- INT+ ErrCor- PoisonedTLP- SwTrigger- DL_ActiveErr-
                DpcSta: Trigger- Reason:00 INT- RPBusy- TriggerExt:00 RP PIO ErrPtr:1f
                Source: 0000
        Kernel driver in use: pcieport

Als ik het even makkelijk samenvat, zie ik vanuit het OS niet dat ASPM disabled is:

code:

$ sudo lspci -vv | grep ASPM
                LnkCap: Port #21, Speed 8GT/s, Width x4, ASPM L0s L1, Exit Latency L0s <1us, L1 <16us
                        ClockPM- Surprise- LLActRep+ BwNot+ ASPMOptComp+
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
                L1SubCap: PCI-PM_L1.2+ PCI-PM_L1.1+ ASPM_L1.2+ ASPM_L1.1+ L1_PM_Substates+
                L1SubCtl1: PCI-PM_L1.2+ PCI-PM_L1.1+ ASPM_L1.2+ ASPM_L1.1+
                LnkCap: Port #5, Speed 8GT/s, Width x1, ASPM L0s L1, Exit Latency L0s <1us, L1 <16us
                        ClockPM- Surprise- LLActRep+ BwNot+ ASPMOptComp+
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
                LnkCap: Port #1, Speed 8GT/s, Width x4, ASPM L1, Exit Latency L1 unlimited
                        ClockPM- Surprise- LLActRep- BwNot- ASPMOptComp+
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
                L1SubCap: PCI-PM_L1.2+ PCI-PM_L1.1+ ASPM_L1.2+ ASPM_L1.1+ L1_PM_Substates+
                L1SubCtl1: PCI-PM_L1.2+ PCI-PM_L1.1+ ASPM_L1.2+ ASPM_L1.1+
                LnkCap: Port #0, Speed 2.5GT/s, Width x1, ASPM L0s L1, Exit Latency L0s unlimited, L1 <64us
                        ClockPM+ Surprise- LLActRep- BwNot- ASPMOptComp+
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
                L1SubCap: PCI-PM_L1.2+ PCI-PM_L1.1+ ASPM_L1.2+ ASPM_L1.1+ L1_PM_Substates+
                L1SubCtl1: PCI-PM_L1.2- PCI-PM_L1.1- ASPM_L1.2- ASPM_L1.1-

Nou dacht ik, dit kan allemaal enabled zijn omdat ik op de kernel command line "pcie_aspm=force" heb staan. Maar als ik het systeem start zonder die kernel command line, dan zie ik nog met "lspci -vv" dat ASPM op alle PCI express apparaten en beide bridges enabled is. Als ik wat verder graaf zie ik dat alleen L1 op zowel de NVMe SSD als de Realtek NIC ondersteund is. Deze controles heb ik uitgevoerd zonder de kernel parameter "pcie_aspm=force".

[ChrisVrolijk]

Allen,
Ik heb een advies nodig.

Ik wil graag een nieuwe ESX server opbouwen met de laatste versie van ESX en vCenter
Maar ik vind het lastig om een juiste keuze te maken voor de hardware. Ik kan natuurlijk in de HCL kijken van vmware maar denk dat daar de asus borden e.d. niet in staan.

Hoe kan ik bepalen wat wel werkt?

[Jormungandr]

Voor moederborden is het vooral belangrijk om een intel nic te nemen. Je kan die in de HCL opzoeken. Verder is er niets echt speciaal aan een moederbord waar ESX niet mee overweg kan.

[ChrisVrolijk]

Jormungandr schreef op donderdag 5 januari 2023 @ 13:09:
Voor moederborden is het vooral belangrijk om een intel nic te nemen. Je kan die in de HCL opzoeken. Verder is er niets echt speciaal aan een moederbord waar ESX niet mee overweg kan.

NIC wordt een kaart omdat ik graag 2x 2poorts of 4poorts wil hebben ivm storage vmotion.

Maar dan ga ik denk ik voor dit bord omdat daar genoeg geheugen op kan en ook een moderne i5 of i7

Dank!

[kevi-n1]

ChrisVrolijk schreef op donderdag 5 januari 2023 @ 14:00:
[...]


NIC wordt een kaart omdat ik graag 2x 2poorts of 4poorts wil hebben ivm storage vmotion.

Maar dan ga ik denk ik voor dit bord omdat daar genoeg geheugen op kan en ook een moderne i5 of i7

Dank!

Als ik het zo hoor ben je niet echt op zoek naar een energie zuinige server welke grotendeels van de tijd in idle draait. Met Vmotion krijg je natuurlijk constante synchronisatie tussen de verschillende nodes. Tuurlijk heb je baat bij een laag idle verbruik maar met constante load zal de echte besparing minder groot zijn.

[ChrisVrolijk]

kevi-n1 schreef op donderdag 5 januari 2023 @ 14:19:
[...]


Als ik het zo hoor ben je niet echt op zoek naar een energie zuinige server welke grotendeels van de tijd in idle draait. Met Vmotion krijg je natuurlijk constante synchronisatie tussen de verschillende nodes. Tuurlijk heb je baat bij een laag idle verbruik maar met constante load zal de echte besparing minder groot zijn.

Oh zeker wel zuinig. vmotion staat op manual en ik wil alleen dat het kan. Server draait 7x24
Ik wil de volgende windows servers gaan draaien. Misschien geeft dat iets meer inzicht.

* Server 2022 domain controller
* Server 2022 Fileserver
* Server 2022 WSUS
* VMWare vcenter
* Docker portal met wat docker contrainers voor Pi-Hole / Home Assistant / Grafana

Vind het lastig om in te schatten wat ik daarvoor nodig heb. Wil starten met een i5 met 64GB en 3 SSD's
Eerste insteek zal zijn dat het werkt en misschien daarna nog wel iets wat de server misschien in de nacht uitzet en 's morgens weer aan.

Ik moet ook nog uitzoeken welke i5 het beste past.

[FDMK]

ChrisVrolijk schreef op donderdag 5 januari 2023 @ 14:29:
[...]


Oh zeker wel zuinig. vmotion staat op manual en ik wil alleen dat het kan. Server draait 7x24
Ik wil de volgende windows servers gaan draaien. Misschien geeft dat iets meer inzicht.

* Server 2022 domain controller
* Server 2022 Fileserver
* Server 2022 WSUS
* VMWare vcenter
* Docker portal met wat docker contrainers voor Pi-Hole / Home Assistant / Grafana

Vind het lastig om in te schatten wat ik daarvoor nodig heb. Wil starten met een i5 met 64GB en 3 SSD's
Eerste insteek zal zijn dat het werkt en misschien daarna nog wel iets wat de server misschien in de nacht uitzet en 's morgens weer aan.

Ik moet ook nog uitzoeken welke i5 het beste past.

Is dit niet iets voor je |sWORDs| in "Het grote zuinige server topic - deel 3"

[mrmrmr]

D43m0n schreef op donderdag 5 januari 2023 @ 12:04:
@mrmrmr ASPM lijkt wel enabled.

De Realtek onboard NIC:

code:

02:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8111/8168/8411 PCI Express Gigabit 
        Capabilities: [178 v1] L1 PM Substates
                L1SubCap: PCI-PM_L1.2+ PCI-PM_L1.1+ ASPM_L1.2+ ASPM_L1.1+ L1_PM_Substates+
                          PortCommonModeRestoreTime=150us PortTPowerOnTime=150us
                L1SubCtl1: PCI-PM_L1.2- PCI-PM_L1.1- ASPM_L1.2- ASPM_L1.1-
                           T_CommonMode=0us LTR1.2_Threshold=81920ns
                L1SubCtl2: T_PwrOn=150us
        Kernel driver in use: r8169
        Kernel modules: r8169

De minnetjes achter de elementen van L1SubCtl1 betekent dat die modes zijn uitgeschakeld.

De BIOS rapporteert de capabilities. Probeer de laatste kernel eens (bv. in backports, Bookworm met firmware package, of losse firmware update). De kernel is het onderdeel dat interacteert. Eventueel kun je de code aanpassen. Er zijn recent wijzigingen geweest vanwege package C-state problemen:

https://lore.kernel.org/[e-mail]/T/
https://[e-mail]/#24911902

[luchthaak]

luchthaak schreef op maandag 19 december 2022 @ 18:56:
Heb het onderstaande aangeschaft om te dienen als HTPC, welk waarschijnlijk 24/7 blijft draaien. Dit als vervanging van mijn oude ASRock AM1H-ITX + Athlon 5350 die iets van 10W trok mbv een laptop adapter (2TB HDD is nu vervangen door 2TB M2 SSD. Behuizing had ik dus al, net als de SSD voor het OS.

De voeding is dus geen Pico PSU, ben een beetje huiverig tov het pruts gehalte / de her en der gesmolten stekkers die rondzwerven op het internet. Een gewone PSU heeft wat meer failsafes dan een Picu. Uitgebreid rond gekeken op https://www.cybenetics.com en https://www.tomshardware.com/ naar welke voedingen op laag vermogen nog enigszins efficient zouden zijn, maar als ik het nu terug kijk zit deze voeding op uiteindelijk ~45% efficiëntie op 10W en ~72% op 20W. Heb nog 2 andere voedingen liggen, leuk vergelijkingsprojectje voor de toekomst. (Tips zijn zeker welkom, mocht er een 'standaard' voeding zijn die ik beter als alternatief zou moeten gebruiken).

De koeler kan vast ook beter / zuiniger, ik heb echter een maximale hoogte van 70 mm in mijn kast, liever net wat minder. Tips welkom. (wil nog proberen de ledjes en controller los te koppelen van koeler / stekker los en een kleine case fan over koelribben laten blazen op laag RPM. Tips zijn welkom.

Momenteel draait het op Windows 11, luie update over oude installatie die de afgelopen 10 jaar meeging . Vervolgens een debloater er over heen gegooid. Daarnaast Pi-hole icm WSL1, en oa Sonarr en NZBget.

Afgelopen maand uitgebreid met de BIOS gerommeld, en wat aanpassingen in Windows gemaakt.

Stroomverbruik wordt gemeten met een Brennenstuhl PM231.

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Core i3-12100 Tray	€ 126,95	€ 126,95
1	Moederborden	ASRock H610M-HDV/M.2	€ 90,50	€ 90,50
1	Behuizingen	Silverstone Milo ML04	€ 104,90	€ 104,90
1	Processorkoeling	Zalman CNPS7600RGB	€ 17,-	€ 17,-
1	Geheugen intern	Crucial CT16G4DFRA32A	€ 45,27	€ 45,27
1	Voedingen	Corsair RM550x (2018) (EU-model) Zwart	€ 84,90	€ 84,90
1	Solid state drives	Crucial BX100 250GB	€ 0,-	€ 0,-
1	Solid state drives	Crucial P3 2TB	€ 144,90	€ 144,90
			Totaal	€ 614,42

Nu het stroomverbruik van bovenstaande:

BIOS = UEFI 10.01
Een hoop niet consistente resultaten in begin, lager stroom verbruik wanneer actief dan idle (bevestigd met taskmanager met lange polling tijd):

• Windows Power Plan op performance: 32W
• Windows Power Plan op power saver (+alle andere settings tot nu toe) 23W (c-states uit!!). (inclusief alle onderstaande kleinverbruikers en undervolting).
• Alle verschillende C-states, idle stroom verbruik naar ~32W (30+ min idle), afspelen van bv youtube 1080P zorgt voor 28W
• Standaard drivers tov laatste drivers van ASRock / Intel, geen verschil in verbruik idle
• alle ASPM opties aan geeft winst van 0.8W

@mrmrmr in TS wordt gesproken over de Real Temp voorloper van ThrottleStop voor het monitoren van de c-states. Deze tool is verder uitgebouwd, en nu te vinden onder: download forum basis uitleg

ThrottleStop geeft mooi de c-states aan waarin CPU etc verkeerd. Dit gebruikt om uitgebreid te testen wanneer mijn stroomverbruik stijgt of daalt voor de c-state settings, omdat daar inconsistente resultaten uitkomen. Alle settings afzonderlijk geprobeerd, bv c6 aan en c7 uit en andersom, geen verschil in gedrag idle. Uiteindelijk is alle c-states opties uit het beste voor stroomverbruik ... ThrottleStop geeft wel aan dat package stroom verbruik zonder c-states op ~2W zit, en met c-states op 0.7W...

Throttlestop heeft een mooie optie die Windows vast ook aanpast, de speed shift optie. Input kun je laten variëren tussen 1 en 255. bij 255 wordt zoveel mogelijk geprobeerd de GHz op de laagste stand te zetten, ook onder lichte load. Dit helpt met het eerder kunnen aflezen van een zo laag mogelijk wattage / veel stabieler wattage.

Met ThrottleStop Power boost off, max stroomverbruik op 40W (dus de turbo van CPU wordt dan niet gebruikt. Met Power boost on, 60W max.
Alle voltages die te verlagen zijn, verlaagt met maximum van 100mV, scheelt 0.5W idle, ~4W op vol last (zonder Powerboost / Turbo), ThrottleStop tijdscore gelijk.

Vanwege de efficiëntie, zal het verbruik idle met een Picu wellicht op iets van 16-17 Watt uitkomen, nog steeds vrij hoog.

Kleine verbruikers, in bovenstaande steeds aangesloten:

• Idle CPU, 820rpm, fancy ledjes aan, 1.1W
• Netwerkkabel ingeplugd kost ~0.6W meer
• M2 SSD kost ~1.0W meer
• Remote USB dongle 0.25W, Toetsenbord 0.2W, muis 0.1W.
• HDMI kabel in standby staande TV 0.1W
• Effect van Pi-hole draaiend of niet, geen verschil meetbaar bij ~idle

Toekomst plannen: Windows 11 clean install, andere PSU testen?, evt van andere USB SSD laten booten met linux (geen ervaring mee), wil er niet te veel tijd aan kwijt zijn, ALPM settings afzonderlijk testen, koeler lampjes er uit slopen, BIOS update?

Nu de vraag, zijn er nog tips en tricks mbt de c-states die ik over het hoofd zie? c-states zijn daadwerkelijk actief. Hoeveel verbetering in verbruik zou je verwachten met de c-states optie? Wellicht zijn er nog andere tips die ik over het hoofd gezien heb met doorworstelen van dit en voorgaande topic?

kleine update, vooruit lopend op een update en meer gedane tests van bovenstaande post:

Oorzaak lijkt vooralsnog de RM 550x 2018 te zijn: 1 enkele SATA SSD aansluiten via de PSU verbruikt 11w meer dan wanneer via de Asrock AM1H-ITX via het MB the SSD van stroom voorzie.. Support vraag staat uit bij Corsair, want 70% meer stroom verbruik wanneer je 1 SSD aan de PSU hangt ipv via het MB is wat onzinning.

Voor een andere build met en RM 550x 2021 ziet het er uit dat de 2021 beduidend beter presteert dan de 2018 versie onder lage loads zoals bij mij. (bij testen met 40W of meer scoort hij wel erg goed, maar bij lage loads van ~15W is de PSU beduidend slechter.

In het kort, mijn bovenstaande build getest met ook een 6 jaar oude be quiet! straight power 10 400, en een hele oude Cooler Master 520, en deze laten wel een afname van stroom verbruik zien met de c-states aan. De be quiet! komt op 15.8W. Als ik de toeters en bellen van mijn MB af haal, oa uitgaande van 1 SSD ipv 2, schat ik dat je op 13W uit komt. Efficiency van de be quiet! is ruim 20% slechter dan een 19v adapter (details voeg ik later toe), dus dan zou je vooralsnog op 10.5W uit kunnen komen voor de Asrock H610M-HDV/M.2 met iets van een PicuPSU! (of mss wel een RM 550x 2021) edit: zie ook deze post in dit topic!

Nu eerst meer testen met een schone Win 11 versie.

[ChrisVrolijk]

FDMK schreef op donderdag 5 januari 2023 @ 14:51:
[...]


Is dit niet iets voor je |sWORDs| in "Het grote zuinige server topic - deel 3"

Die kastjes heb ik gezien, supermicro heeft ook dit soort systemen maar het nadeel voor mij is dat ik er te weinig harddisken in kwijt kan.

[D43m0n]

mrmrmr schreef op donderdag 5 januari 2023 @ 14:53:
[...]


De Realtek onboard NIC:

code:

02:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8111/8168/8411 PCI Express Gigabit 
        Capabilities: [178 v1] L1 PM Substates
                L1SubCap: PCI-PM_L1.2+ PCI-PM_L1.1+ ASPM_L1.2+ ASPM_L1.1+ L1_PM_Substates+
                          PortCommonModeRestoreTime=150us PortTPowerOnTime=150us
                L1SubCtl1: PCI-PM_L1.2- PCI-PM_L1.1- ASPM_L1.2- ASPM_L1.1-
                           T_CommonMode=0us LTR1.2_Threshold=81920ns
                L1SubCtl2: T_PwrOn=150us
        Kernel driver in use: r8169
        Kernel modules: r8169

De minnetjes achter de elementen van L1SubCtl1 betekent dat die modes zijn uitgeschakeld.

De BIOS rapporteert de capabilities. Probeer de laatste kernel eens (bv. in backports, Bookworm met firmware package, of losse firmware update). De kernel is het onderdeel dat interacteert. Eventueel kun je de code aanpassen. Er zijn recent wijzigingen geweest vanwege package C-state problemen:

https://lore.kernel.org/[e-mail]/T/
https://[e-mail]/#24911902

Ah weer wat geleerd over die minnetjes!

Ik heb de meest recente kernel van Bookworm actief: "6.0.0-6-amd64". Van die links is de tweede interessant, de patch zit in de acpi driver ergens in juni vorig jaar:

code:

diff --git a/drivers/acpi/pci_root.c b/drivers/acpi/pci_root.c
index 6f9e75d14808..17e78582e633 100644
--- a/drivers/acpi/pci_root.c
+++ b/drivers/acpi/pci_root.c
@@ -393,7 +393,7 @@  static u32 calculate_support(void)
    support |= OSC_PCI_HPX_TYPE_3_SUPPORT;
    if (pci_ext_cfg_avail())
        support |= OSC_PCI_EXT_CONFIG_SUPPORT;
-   if (pcie_aspm_support_enabled())
+   if (IS_ENABLED(CONFIG_PCIEASPM))
        support |= OSC_PCI_ASPM_SUPPORT | OSC_PCI_CLOCK_PM_SUPPORT;
    if (pci_msi_enabled())
        support |= OSC_PCI_MSI_SUPPORT;

Hoe kom ik er achter of/wanneer deze patch geaccepteerd is en in dat geval beschikbaar is?

[kevi-n1]

ChrisVrolijk schreef op donderdag 5 januari 2023 @ 16:04:
[...]


Die kastjes heb ik gezien, supermicro heeft ook dit soort systemen maar het nadeel voor mij is dat ik er te weinig harddisken in kwijt kan.

Misschien is het handiger om zelf eerst met een "build" te komen waarin je al wensen meeneemt. Qua hardware, gebruik en verbruik. Nu komt er opeens tevoorschijn dat je hardeschijven wilt gebruiken. Zijn het er 1 of 10?

Dus scroll wat terug en kies een recente build van een andere tweaker met als basis een moederbord van kontron (Fujitsu) met het gewenste aantal sata poorten. Als je dat hebt kunnen we makkelijker meedenken. Iedereen heeft zijn eigen wensen en wij kunnen niet in je hoofd kijken

[andru123]

@D43m0n weet je of Shelly plugs naukeurig zijn, heeft iemand ooit gechecked?
@Mars Warrior in VS zijn i5-13500 eerste dag uitverkocht. In NL gewoon genoeg op voorraad. Bizaar.

[mrmrmr]

luchthaak schreef op donderdag 5 januari 2023 @ 15:32:
De be quiet! komt op 15.8W. Als ik de toeters en bellen van mijn MB af haal, oa uitgaande van 1 SSD ipv 2, schat ik dat je op 13W uit komt.

Een SSD is van weinig invloed als die netjes in slaapstand gaat. SSD's doen dat snel en verbruiken dan nog heel weinig (<50mW). Een klein aantal SSD's voor consumenten doet het niet goed omdat die niet goed omgaan met low power modes. Enterprise SSD's bijvoorbeeld zijn niet geschikt voor een zuinige server. Tweakers.net test zo nu en dan SSD's en ook wat ze verbruiken in idle. Anandtech soms ook.

[mrmrmr]

D43m0n schreef op donderdag 5 januari 2023 @ 16:10:
Hoe kom ik er achter of/wanneer deze patch geaccepteerd is en in dat geval beschikbaar is?

Source code doorzoeken?

[D43m0n]

@andru123 ik weet niet hoe nauwkeurig de Shelly Plugs zijn. Ik heb ook 1 Fibaro Z-wave plug. Dat is mijn allereerste slimme plug die ongeveer 3x zo duur was als een Shelly Plug S en dan moest ik er ook een Z-wave stick apart bij kopen. Shelly was er toen nog niet met de Plug S helaas. Ik heb toen wat apparaten gemeten met de Fibaro plug en later ook met die Shelly Plugs, er is mij geen verschil opgevallen in andere getallen. Wel dat de Fibaro minder vaak meetgegevens doorstuurt dan de Shelly’s. Er zal vast iemand zijn die dit soort plugs wel eens met elkaar vergeleken hebben. Het gros is gebaseerd op dezelfde ESP8266.

@mrmrmr ja… dat was ook mijn eerste ingeving. Zojuist de source doorzocht:

code:

static u32 calculate_support(void)
{
    u32 support;

    /*
     * All supported architectures that use ACPI have support for
     * PCI domains, so we indicate this in _OSC support capabilities.
     */
    support = OSC_PCI_SEGMENT_GROUPS_SUPPORT;
    support |= OSC_PCI_HPX_TYPE_3_SUPPORT;
    if (pci_ext_cfg_avail())
        support |= OSC_PCI_EXT_CONFIG_SUPPORT;
    if (pcie_aspm_support_enabled())
        support |= OSC_PCI_ASPM_SUPPORT | OSC_PCI_CLOCK_PM_SUPPORT;
    if (pci_msi_enabled())
        support |= OSC_PCI_MSI_SUPPORT;
    if (IS_ENABLED(CONFIG_PCIE_EDR))
        support |= OSC_PCI_EDR_SUPPORT;

    return support;
}

De regelnummering wijkt wel af met de patch maar die is ook uit juni 2022 dus op zich niet gek dat die afwijken, maar als ik naar de patch kijk, dan zit die er nog niet in:

code:

diff --git a/drivers/acpi/pci_root.c b/drivers/acpi/pci_root.c
index 6f9e75d14808..17e78582e633 100644
--- a/drivers/acpi/pci_root.c
+++ b/drivers/acpi/pci_root.c
@@ -393,7 +393,7 @@  static u32 calculate_support(void)
    support |= OSC_PCI_HPX_TYPE_3_SUPPORT;
    if (pci_ext_cfg_avail())
        support |= OSC_PCI_EXT_CONFIG_SUPPORT;
-   if (pcie_aspm_support_enabled())
+   if (IS_ENABLED(CONFIG_PCIEASPM))
        support |= OSC_PCI_ASPM_SUPPORT | OSC_PCI_CLOCK_PM_SUPPORT;
    if (pci_msi_enabled())
        support |= OSC_PCI_MSI_SUPPORT;

Misschien volgt dat later wel? Vooralsnog werkt het wel bij mij met de kernel command line en zie ik niks geks de afgelopen 24 uur.

[Jazco2nd]

Valt eigenlijk al een heel korte opsomming te maken van alternatieve moederborden, tov die genoemd worden in de 1st post? Ivm prijs en beschikbaarheid?
Ik kan me herinneren dat er al wat mensen waren die verbruikscijfers hadden gedeeld, maar er zijn zoveel posts hier..

[D43m0n]

Er is een link “gepinde posts” in het start topic @Jazco2nd , maar ik zie dat die naar gepinde posts uit deel 2 verwijst. Misschien kan @mrmrmr of @Mars Warrior de link in het start topic van deel 3 aanpassen naar de gepinde posts uit dit deel?

Die gepinde Posts vatten al veel mooi samen.

[D-Three]

Daarvoor heb je geen linkje nodig Gewoon rechtsboven op het icoontje van gepinde posts klikken.

[ Voor 8% gewijzigd door D-Three op 06-01-2023 14:19 ]

[Mars Warrior]

D43m0n schreef op vrijdag 6 januari 2023 @ 13:47:
Er is een link “gepinde posts” in het start topic @Jazco2nd , maar ik zie dat die naar gepinde posts uit deel 2 verwijst. Misschien kan @mrmrmr of @Mars Warrior de link in het start topic van deel 3 aanpassen naar de gepinde posts uit dit deel?

Die gepinde Posts vatten al veel mooi samen.

Linkje is aangepast.

Maar los daarvan werkt de knop rechtsboven ook ja

[cville]

andru123 schreef op donderdag 5 januari 2023 @ 23:56:
@D43m0n weet je of Shelly plugs naukeurig zijn, heeft iemand ooit gechecked?

Ik heb een paar maanden geleden een poging gedaan maar het uiteindelijk opgegeven omdat ik geen bruikbare antwoorden van Shelly kreeg. Het grootste problem was dat ik het polling interval niet kon instellen. Vragen via het forum en Shelly leverden niets op.

Ik heb ze teruggestuurd en uiteindelijk 2 Sonoff POW Origins (POWR316D) besteld waar ik Tasmota op geflashd heb. Ik heb 2 sets metingen gedaan met een 25W gloeilamp met een Pf van 0.98. De eerste meting kwam uit op 2.75% afwijking, de 2e op 2.49%. Tasmota geeft je ruime mogelijkheden om te kalibreren maar voor server power logging is dit ruim voldoende.

[Mars Warrior]

Ik zat de Kontron manuals door te nemen tav updaten van de BIOS zonder CPU, maar kan daar helemaal niks over vinden Kan dat soms niet?

Verder ook niets te vinden over Raptor Lake support. Dat zou wel erg droevig zijn aangezien het gros van de 13xxx gen gewoon Alder Lake dies heeft.

In dit topic zie ik ook nog geen mensen die een 13-gen CPU hebben icm een Kontron bord.

Edit:
Wie weet is de TDP van al die 13K versies te hoog, ergo geen support, maar gaan de niet-K versies wel ondersteuning krijgen. Anders zal ik een 12600K moeten nemen om rond 13400/13500 uit te komen.

[ Voor 21% gewijzigd door Mars Warrior op 07-01-2023 19:00 ]

[Raven]

Mars Warrior schreef op zaterdag 7 januari 2023 @ 17:04:
updaten van de BIOS zonder CPU,

Dat is helaas niet overal een standaard feature , volgens de PW kunnen maar 255 van de 1.072 MB's (met prijzen) dat.

[dcm360]

Raven schreef op zaterdag 7 januari 2023 @ 18:07:
[...]

Dat is helaas niet overal een standaard feature , volgens de PW kunnen maar 255 van de 1.072 MB's (met prijzen) dat.

De meeste moederborden met impi zullen het ook wel kunnen, dan kom je al uit op 311. Maar de meer sober uitgeruste moederborden vallen snel af.

[mrmrmr]

Mars Warrior schreef op zaterdag 7 januari 2023 @ 17:04:
Ik zat de Kontron manuals door te nemen tav updaten van de BIOS zonder CPU, maar kan daar helemaal niks over vinden Kan dat soms niet?

Verder ook niets te vinden over Raptor Lake support. Dat zou wel erg droevig zijn aangezien het gros van de 13xxx gen gewoon Alder Lake dies heeft.

In dit topic zie ik ook nog geen mensen die een 13-gen CPU hebben icm een Kontron bord.

In de processortabel staan nog 13th gen processoren, dat is nog te nieuw. De laatste update was september, dus van voor de release van Raptor Lake. De laatste BIOS update van december noemt 13th gen niet, wel Alder Lake-S.

Je kan ze vragen of het er aan komt: sales [aapstaaart] kontron.com

---

In de documentatie van BIOS 1.4.0 staat "Fixed: Disabled ASPM L1 substates for M.2 sockets". Dat is niet handig. Het is wel zo dat SSD's eigen low power states hebben, maar bereikt de package C-state dan nog wel een hoog cijfer?

---

K3842-Q2 is een nieuw bord met een tweede LAN poort.

[Mars Warrior]

mrmrmr schreef op zaterdag 7 januari 2023 @ 19:51:
[...]
In de processortabel staan nog 13th gen processoren, dat is nog te nieuw. De laatste update was september, dus van voor de release van Raptor Lake. De laatste BIOS update van december noemt 13th gen niet, wel Alder Lake-S.

Je kan ze vragen of het er aan komt: sales [aapstaaart] kontron.com

Reageren ze ook op privé mailadressen dat je weet, of kan ik het beter via mijn werkmail doen met bijbehorende dure titel

In de documentatie van BIOS 1.4.0 staat "Fixed: Disabled ASPM L1 substates for M.2 sockets". Dat is niet handig. Het is wel zo dat SSD's eigen low power states hebben, maar bereikt de package C-state dan nog wel een hoog cijfer?

Ik zag het ook, maar heb geen idee wat de consequenties zijn. Het is een fix, dus blijkbaar ging hier iets fout mee?

K3842-Q2 is een nieuw bord met een tweede LAN poort.

Die is nog beetje duur zie ik. Als ik tzt 2.5GBit nodig heb duw ik er wel een zuinig kaartje bij

[MFarah]

Beste mede Tweakers,

Dit jaar heb ik als doel om een mooie home server te gaan bouwen. Dit zal mijn eerste zelfgebouwde server gaan worden. Op dit moment heb ik een Synology 218+ thuis draaien. Deze dient als storage opslag, Plex media server, VPN server en draait een aantal docker containers voor bijvoorbeeld home automation.

Het bouwen van een server en waar ik op moet letten etc, daar heb ik geen kaas van gegeten.
Nadat ik advies heb ingewonnen bij een maat van mij zijn we tot de onderstaande build gekomen. Let op: voor mij waren bovenstaande diensten een minimale, en ik zou ook graag eventueel VM's willen draaien in de toekomst.

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Core i3-12100 Boxed	€ 142,79	€ 142,79
1	Moederborden	ASRock H670M-ITX/ax	€ 194,90	€ 194,90
1	Behuizingen	Fractal Design Node 304 Zwart	€ 90,63	€ 90,63
2	Geheugen intern	G.Skill Aegis F4-2400C15S-8GIS	€ 21,86	€ 43,72
1	Voedingen	Corsair RM550x (2021) Zwart	€ 105,-	€ 105,-
2	Solid state drives	WD Blue SN570 1TB	€ 73,26	€ 146,52
			Totaal	€ 723,56

Wat vinden jullie hiervan? Zijn er betere suggesties? Ik wil niet meer dan 700-800 betalen uiteindelijk.

[mrmrmr]

Mars Warrior schreef op zaterdag 7 januari 2023 @ 20:13:
[...]

Reageren ze ook op privé mailadressen dat je weet, of kan ik het beter via mijn werkmail doen met bijbehorende dure titel

Werkmail doet het beter dan gmail denk ik.

Ik zag het ook, maar heb geen idee wat de consequenties zijn. Het is een fix, dus blijkbaar ging hier iets fout mee?

Ik ook niet, maar ik vermoed dat de kans aanwezig is dat er met een kanon op een mug wordt geschoten en dat het eigenlijke probleem een bepaalde M.2 device is. Zoals de Linux kernel intern ook een lijst met quirks bijhoudt. Ik heb zelf geen M.2 gebruikt.

[andru123]

@MFarah dit is vergelijkbaar met wat ik wil. Er zijn verschillende metingen met 12100, het is niet duidelijk hoe zuinig het kan.
Er was ooit een Excel sheet op google docs met alle metingen van dit topic? Kan ik het niet meer vinden.

[MFarah]

andru123 schreef op zaterdag 7 januari 2023 @ 21:50:
@MFarah dit is vergelijkbaar met wat ik wil. Er zijn verschillende metingen met 12100, het is niet duidelijk hoe zuinig het kan.
Er was ooit een Excel sheet op google docs met alle metingen van dit topic? Kan ik het niet meer vinden.

Waarvoor gebruik jij hem dan? Ben je er tevreden mee?

[FDMK]

andru123 schreef op zaterdag 7 januari 2023 @ 21:50:
@MFarah dit is vergelijkbaar met wat ik wil. Er zijn verschillende metingen met 12100, het is niet duidelijk hoe zuinig het kan.
Er was ooit een Excel sheet op google docs met alle metingen van dit topic? Kan ik het niet meer vinden.

https://docs.google.com/s...odvwZpQZKv_NCI/edit#gid=0

[Mich]

MFarah schreef op zaterdag 7 januari 2023 @ 20:15:
Beste mede Tweakers,

Dit jaar heb ik als doel om een mooie home server te gaan bouwen. Dit zal mijn eerste zelfgebouwde server gaan worden. Op dit moment heb ik een Synology 218+ thuis draaien. Deze dient als storage opslag, Plex media server, VPN server en draait een aantal docker containers voor bijvoorbeeld home automation.

Het bouwen van een server en waar ik op moet letten etc, daar heb ik geen kaas van gegeten.
Nadat ik advies heb ingewonnen bij een maat van mij zijn we tot de onderstaande build gekomen. Let op: voor mij waren bovenstaande diensten een minimale, en ik zou ook graag eventueel VM's willen draaien in de toekomst.

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Core i3-12100 Boxed	€ 142,79	€ 142,79
1	Moederborden	ASRock H670M-ITX/ax	€ 194,90	€ 194,90
1	Behuizingen	Fractal Design Node 304 Zwart	€ 90,63	€ 90,63
2	Geheugen intern	G.Skill Aegis F4-2400C15S-8GIS	€ 21,86	€ 43,72
1	Voedingen	Corsair RM550x (2021) Zwart	€ 105,-	€ 105,-
2	Solid state drives	WD Blue SN570 1TB	€ 73,26	€ 146,52
			Totaal	€ 723,56

Wat vinden jullie hiervan? Zijn er betere suggesties? Ik wil niet meer dan 700-800 betalen uiteindelijk.

Als je VM wil van draaien kan je denk beter de stap naar een i5 nemen. Dan heb je meer cores tot je beschikking. Ik had zelf de i5-12500 op mijn lijstje maar dat gaat denk ik de nieuwe 13500 worden.

[dcm360]

Mich schreef op zondag 8 januari 2023 @ 12:14:
[...]


Als je VM wil van draaien kan je denk beter de stap naar een i5 nemen. Dan heb je meer cores tot je beschikking. Ik had zelf de i5-12500 op mijn lijstje maar dat gaat denk ik de nieuwe 13500 worden.

De vraag is vooral wat het plan is met de VM's om goed te kunnen besluiten of een i5 met meer cores meerwaarde biedt op een i3. Ik heb een paar lichte VM's en wat containers draaien op een Atom met 4 cores, en dat gaat eigenlijk ook wel prima. Puur op kracht van de processor zou die zelfs voldoen om de load van mijn grote machine met 3700x over te nemen.

[NuKeM]

Ik zit wat verveeld met een recente NUC en Windows 11 Pro. Als ik mijn nieuwe systeem opstart (en de services daarmee ook) is er geen probleem, heb verbruik is laag. Na inloggen via RDP is alles ook nog goed, C-states worden gebruikt en de frequentie en het verbruik zijn laag. Echter, van zodra ik een log-out doe gaat dit de hoogte in en blijft de frequentie hoog evenals het verbruik. ThrottleStop bevestigt dat. Ik merk ook niet direct een proces op dat ineens meer zou vragen ofzo.
Als ik in plaats van een log-out, een disconnect doe is er geen probleem... dus ik kan er wel wat omheen werken. Maar, ik vroeg me af of het een gekend probleem is, er nog mensen last van hebben en of er oplossingen zijn (opzoekwerk gaf niet direct resultaat).
Betreft een recente Intel NUC met i5-1240P met Windows 11 Pro (direct Win10/11 is helaas nodig voor het gebruiksdoel, BlueIris met DeepStack AI, anders zou ik ook ESXi of ProxMox draaien). Dit met alle recente Intel drivers en geen aangesloten toestellen buiten de ethernet kabel. Na uitschaken van vele onnodige tasks en services bleef het probleem ook aanwezig.
Ik sta op het punt er Windows 10 Pro op te zetten en na te gaan of dat beter gaat.

Update: Windows 10 Pro erop en geen problemen meer.

[Mars Warrior]

Ondanks dat officieel de Ryzen niet-X, dus 7600 (6c12t), 7700 (8c16t) en 7900 (12c24t) nog niet te koop zijn heeft MSI leuke testen uitgevoerd met verschillende cTDP's om zo de efficiëntie te laten zien van deze AMD processors.

"AMD Ryzen 9 7900, Ryzen 7 7700, Ryzen 5 7600 CPUs Can Hit Up To 170W PBO Profiles On MSI X670 & B650 Boards, Performance Demoed"

De recente AGESA 1.0.0.4 BIOS Firmware (van MSI tenminste) bevat PBO profielen van 45W, 65W (default TDP voor deze CPUs), 95W, 105W, 125W/ en 170W.

De resultaten van het verhogen van de cTDP zijn nogal verrassend (of juist niet):

• De 7600 en 7700 laten marginale (1-2%) winsten zien bij een verhoging naar 95W. Zelfs een verhoging naar 170W doet bijna niets extra's!
• De 7900 laat 9% zien bij cTDP van 95W en zowaar 14% bij cTDP van 170W. Die CPU heeft dus blijkbaar nog heel wat ruimte, en lijkt dus default al efficienter te zijn afgesteld.

Net als bij Intel is er dus heel veel extra Watts nodig om de laatste paar procent eruit te persen om maar zo hoog mogelijk bij de reviews te eindigen.

De meest interessante voor dit topic is natuurlijk de TDP van 45W
Vergeleken met de default cTDP van 65W:

• De 7600 presteert op 94%, oftewel 6% verlies
• De 7700 presteert op 91%, oftewel 9% verlies
• De 7900 presteert op 84%, oftewel 16% verlies

Bij de 7900 is het verschil van de 45W cTDP tov de 170W cTDP 26% minder prestatie! En dat met een 3,7x lagere cTDP

Deze verschillen zijn voornamelijk te zien bij multi-core gebruik. Single core maakt de cTDP niet of nauwelijks enig verschil.

De grafieken zien er dus bijna hetzelfde uit als de metingen die mrmrmr eerder met een 12100 heeft gedaan. Ook daar zag je met sterk toenemende TDP (PL1/PL2) geen noemenswaardige winst meer.

Mochten er ooit zuinige AM5 moederborden op de markt komen, dan kunnen dit zomaar mooie CPUs zijn voor een zuinige server

[Mars Warrior]

MFarah schreef op zaterdag 7 januari 2023 @ 20:15:
Beste mede Tweakers,

Dit jaar heb ik als doel om een mooie home server te gaan bouwen. Dit zal mijn eerste zelfgebouwde server gaan worden. Op dit moment heb ik een Synology 218+ thuis draaien. Deze dient als storage opslag, Plex media server, VPN server en draait een aantal docker containers voor bijvoorbeeld home automation.

Het bouwen van een server en waar ik op moet letten etc, daar heb ik geen kaas van gegeten.
Nadat ik advies heb ingewonnen bij een maat van mij zijn we tot de onderstaande build gekomen. Let op: voor mij waren bovenstaande diensten een minimale, en ik zou ook graag eventueel VM's willen draaien in de toekomst.

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Core i3-12100 Boxed	€ 142,79	€ 142,79
1	Moederborden	ASRock H670M-ITX/ax	€ 194,90	€ 194,90
1	Behuizingen	Fractal Design Node 304 Zwart	€ 90,63	€ 90,63
2	Geheugen intern	G.Skill Aegis F4-2400C15S-8GIS	€ 21,86	€ 43,72
1	Voedingen	Corsair RM550x (2021) Zwart	€ 105,-	€ 105,-
2	Solid state drives	WD Blue SN570 1TB	€ 73,26	€ 146,52
			Totaal	€ 723,56

Wat vinden jullie hiervan? Zijn er betere suggesties? Ik wil niet meer dan 700-800 betalen uiteindelijk.

Ziet er voor de prijs niet verkeerd uit. Vraag me wel af...

• Of de 16GB RAM voldoende is als je ook nog VM's wilt gaan draaien in de toekomst. Dat hangt natuurlijk van het geheugengebruik af, maar met een mini ITX bord zul je dan nieuw RAM moeten kopen, want uitbreiden gaat niet met 2 sloten.
• Waarom 2x 1TB, en niet 1x 2TB SSD?

[mrmrmr]

MFarah schreef op zaterdag 7 januari 2023 @ 20:15:
Wat vinden jullie hiervan? Zijn er betere suggesties? Ik wil niet meer dan 700-800 betalen uiteindelijk.

Het geheugen is XMP overclock geheugen op 2400 MT/s. Als je op standaard spanning (1,2V) wil draaien is standaard JEDEC 2400 MT/s nodig. Een hoge spanning en snelheid gaat ten koste van het verbruik. Deze processor kan overweg met DDR4-3200, die of DDR4-2666 is ook goed.

Ik zie geen hard disks in het lijstje. Als je daadwerkelijk geen 3.5" hard disks nodig hebt, is PicoPSU-90/kit + cDTP 80W een stuk beter bij lage stroomvraag. Het kan dan alsnog worden voorzien met 6x 2.5" 4-5TB disks.

@Mars Warrior AGESA 1.0.0.4 is een oude versie, bekend omdat het gebruikt werd voor een relatief (voor AMD, niet voor Intel) laag verbruikend systeem. Het blijkt dat MSI en ASRock naar die versie terug zijn gegaan.

[Mars Warrior]

mrmrmr schreef op zondag 8 januari 2023 @ 17:53:
[...]
@Mars Warrior AGESA 1.0.0.4 is een oude versie, bekend omdat het gebruikt werd voor een relatief (voor AMD, niet voor Intel) laag verbruikend systeem. Het blijkt dat MSI en ASRock naar die versie terug zijn gegaan.

Ja die zag ik nadat ik had gepost. Er worden cores gedisabled, dus vandaar de rollback. Wordt wel gefixed.

Het ging me er natuurlijk meer om dat zowel Intel als AMD flink lopen te pushen om die laatste paar %%% performance eruit te krijgen en als je het vermogen terugschroeft, je helemaal niet veel performance verliest, maar wel een veel zuiniger en efficienter systeem krijgt als die hard moet werken.

Het totaalverbruik van AMD is nog steeds veel hoger dan die van Intel, dus voor een zuinige server niet echt relevant, maar voor een desktop die weer wat jaartjes mee moet wel fijn om te weten

Ik hoop komende week van Kontron te weten of 13-gen support krijgt, en afhankelijk van dat antwoord zal ik een 12-gen moeten uitzoeken, of nog ff wachten zodat ik een 13-gen systeem kan gaan bestellen!

[MFarah]

dcm360 schreef op zondag 8 januari 2023 @ 15:13:
[...]

De vraag is vooral wat het plan is met de VM's om goed te kunnen besluiten of een i5 met meer cores meerwaarde biedt op een i3. Ik heb een paar lichte VM's en wat containers draaien op een Atom met 4 cores, en dat gaat eigenlijk ook wel prima. Puur op kracht van de processor zou die zelfs voldoen om de load van mijn grote machine met 3700x over te nemen.

Het is voor mij hooguit wat Windows 10/11's machines voor test doeleinde.

[MFarah]

Mars Warrior schreef op zondag 8 januari 2023 @ 17:39:
[...]

Ziet er voor de prijs niet verkeerd uit. Vraag me wel af...

• Of de 16GB RAM voldoende is als je ook nog VM's wilt gaan draaien in de toekomst. Dat hangt natuurlijk van het geheugengebruik af, maar met een mini ITX bord zul je dan nieuw RAM moeten kopen, want uitbreiden gaat niet met 2 sloten.
• Waarom 2x 1TB, en niet 1x 2TB SSD?

We gaan het zien in het begin is denk ik de setup nu wel meer dan voldoende en prima, helemaal als ik deze afzet tegen mijn huidige Synology NAS. Waarom 2x 1TB, ik ben van plan om UNRAID te gaan draaien in een raid opstelling. Dus de 2x 1 tb wordt in een raid opstelling gebruikt just in case something goes wrong.

[Jazco2nd]

Mars Warrior schreef op zondag 8 januari 2023 @ 17:35:
Ondanks dat officieel de Ryzen niet-X, dus 7600 (6c12t), 7700 (8c16t) en 7900 (12c24t) nog niet te koop zijn heeft MSI leuke testen uitgevoerd met verschillende cTDP's om zo de efficiëntie te laten zien van deze AMD processors.

"AMD Ryzen 9 7900, Ryzen 7 7700, Ryzen 5 7600 CPUs Can Hit Up To 170W PBO Profiles On MSI X670 & B650 Boards, Performance Demoed"

De recente AGESA 1.0.0.4 BIOS Firmware (van MSI tenminste) bevat PBO profielen van 45W, 65W (default TDP voor deze CPUs), 95W, 105W, 125W/ en 170W.

De resultaten van het verhogen van de cTDP zijn nogal verrassend (of juist niet):

• De 7600 en 7700 laten marginale (1-2%) winsten zien bij een verhoging naar 95W. Zelfs een verhoging naar 170W doet bijna niets extra's!
• De 7900 laat 9% zien bij cTDP van 95W en zowaar 14% bij cTDP van 170W. Die CPU heeft dus blijkbaar nog heel wat ruimte, en lijkt dus default al efficienter te zijn afgesteld.

Net als bij Intel is er dus heel veel extra Watts nodig om de laatste paar procent eruit te persen om maar zo hoog mogelijk bij de reviews te eindigen.

De meest interessante voor dit topic is natuurlijk de TDP van 45W
Vergeleken met de default cTDP van 65W:

• De 7600 presteert op 94%, oftewel 6% verlies
• De 7700 presteert op 91%, oftewel 9% verlies
• De 7900 presteert op 84%, oftewel 16% verlies

Bij de 7900 is het verschil van de 45W cTDP tov de 170W cTDP 26% minder prestatie! En dat met een 3,7x lagere cTDP

Deze verschillen zijn voornamelijk te zien bij multi-core gebruik. Single core maakt de cTDP niet of nauwelijks enig verschil.

De grafieken zien er dus bijna hetzelfde uit als de metingen die mrmrmr eerder met een 12100 heeft gedaan. Ook daar zag je met sterk toenemende TDP (PL1/PL2) geen noemenswaardige winst meer.

Mochten er ooit zuinige AM5 moederborden op de markt komen, dan kunnen dit zomaar mooie CPUs zijn voor een zuinige server

[Afbeelding]

[Afbeelding]

[Afbeelding]

Maar een hoge efficiëntie zegt toch niks over het idle verbruik?
Los daarvan, zeggen deze testen ook alleen iets over de efficiëntie tov elkaar tijdens load?

[Mars Warrior]

Jazco2nd schreef op maandag 9 januari 2023 @ 21:45:
[...]

Maar een hoge efficiëntie zegt toch niks over het idle verbruik?
Los daarvan, zeggen deze testen ook alleen iets over de efficiëntie tov elkaar tijdens load?

Klopt. Idle verbruik zal nog niet in de buurt komen van Intel.

Maar efficient zijn ze zeker, nog beter dan de vorige generatie:



De 7900 is nog niet getest door TPU. Maar ook dat is een 65/88W CPU, dus ik verwacht dat die het met 12 cores nog beter doet.

Overigens vreemd dat Tweakers nog geen review heeft, terwijl andere sites vaak alledrie de CPU’s al hebben gereviewd.

[CAPSLOCK2000]

Geen vraag, maar een rant/frustratie/.

Ik vind het maar lastig dat we bij efficientie vooral kijken naar hoeveel rekenwerk je doet per watt. Dat is heel nuttig als je een druk rekencluster hebt maar niet op de gemiddelde thuisserver waar snelheid er niet zo toe doet.

Dan zou je naar idle-verbruik kunnen kijken maar dat is ook niet heel nuttig. Onder ideale omstandigheden zijn alle moderne processoren super zuinig. Maar in mijn ervaring zijn mijn systemen eigenlijk nooit echt idle. Met tientallen VM's en containers is er altijd wel iets dat even de aandacht wil.

Natuurlijk kan ik mijn huidige systemen wel doormeten maar ik kan die data niet op een zinnige manier vergelijken met een nieuw systeem. Daar komt ook nog bij dat het niet alleen de CPU is maar ook mobo, schijven en alle andere onderdelen en het is maar lastig om het onderscheid te maken.
Ik kan niet alleen de schijven meten of weglaten. Als ik ze eruit haal werkt het systeem niet en zullen alle overgebleven onderdelen vast heel zuinig gaan staan wachten.

Ik vraag me zelfs af hoe groot de bijdrage van de CPU nu echt is. Met een natte vinger rekenend denk ik dat mobo/ram/gpu/nics/schijven meer gebruiken dan de CPU van mijn meest onzuinige server. Als ik dan alleen naar mobo/cpu/ram kijk weet ik niet of het vanzelfsprekend is dat een nieuwe set zuiniger is dan een oude.
Mijn oude mobo heeft geen koeler nodig op de chipset en ram-modules terwijl dat tegenwoordig vrij normaal is. Ook mijn NVME-modules hebben koelvinnen en worden dan nog steeds behoorlijk heet. Ze zijn natuurlijk veel kleiner dan een draaischijf maar die warmte laat zien dat ze ook veel stroom gebruiken.
Dan ben ik bang dat de nieuwe set netto meer zou gebruiken, ook al is het in theorie een veel sneller systeem.

Ik heb hier drie servers staan die samen een cluster vormen, de oudste is meer dan 10 jaar oud, de nieuwste 2 jaar. Ze doen dus alle drie ongeveer hetzelfde werk maar op totaal andere hardware. Het verbruik van die drie systemen zit toch behoorlijk dicht bij elkaar (rond de 100W). De nieuwe server is veel sneller dan de oude server maar in praktijk merk ik daar weinig van, het is toch wel snel genoeg. De bottlenecks zitten bij storage en netwerk (en soms een gebrek aan RAM). Het roept dus de vraag op of ik wel iets opschiet met een efficientere CPU of dat de kans er is dat het nieuwe mobo/ram/nvme zoveel zuipen dat het weinig zin heeft.

Ik heb niet echt een concrete vraag anders dan "vraag ik me dit terecht af of zie ik het helemaal verkeerd?"

[daily.data.inj]

CAPSLOCK2000 schreef op dinsdag 10 januari 2023 @ 12:38:
Geen vraag, maar een rant/frustratie/.

Ik vind het maar lastig dat we bij efficientie vooral kijken naar hoeveel rekenwerk je doet per watt. Dat is heel nuttig als je een druk rekencluster hebt maar niet op de gemiddelde thuisserver waar snelheid er niet zo toe doet.

Dan zou je naar idle-verbruik kunnen kijken maar dat is ook niet heel nuttig. Onder ideale omstandigheden zijn alle moderne processoren super zuinig. Maar in mijn ervaring zijn mijn systemen eigenlijk nooit echt idle. Met tientallen VM's en containers is er altijd wel iets dat even de aandacht wil.

Natuurlijk kan ik mijn huidige systemen wel doormeten maar ik kan die data niet op een zinnige manier vergelijken met een nieuw systeem. Daar komt ook nog bij dat het niet alleen de CPU is maar ook mobo, schijven en alle andere onderdelen en het is maar lastig om het onderscheid te maken.
Ik kan niet alleen de schijven meten of weglaten. Als ik ze eruit haal werkt het systeem niet en zullen alle overgebleven onderdelen vast heel zuinig gaan staan wachten.

Ik vraag me zelfs af hoe groot de bijdrage van de CPU nu echt is. Met een natte vinger rekenend denk ik dat mobo/ram/gpu/nics/schijven meer gebruiken dan de CPU van mijn meest onzuinige server. Als ik dan alleen naar mobo/cpu/ram kijk weet ik niet of het vanzelfsprekend is dat een nieuwe set zuiniger is dan een oude.
Mijn oude mobo heeft geen koeler nodig op de chipset en ram-modules terwijl dat tegenwoordig vrij normaal is. Ook mijn NVME-modules hebben koelvinnen en worden dan nog steeds behoorlijk heet. Ze zijn natuurlijk veel kleiner dan een draaischijf maar die warmte laat zien dat ze ook veel stroom gebruiken.
Dan ben ik bang dat de nieuwe set netto meer zou gebruiken, ook al is het in theorie een veel sneller systeem.

Ik heb hier drie servers staan die samen een cluster vormen, de oudste is meer dan 10 jaar oud, de nieuwste 2 jaar. Ze doen dus alle drie ongeveer hetzelfde werk maar op totaal andere hardware. Het verbruik van die drie systemen zit toch behoorlijk dicht bij elkaar (rond de 100W). De nieuwe server is veel sneller dan de oude server maar in praktijk merk ik daar weinig van, het is toch wel snel genoeg. De bottlenecks zitten bij storage en netwerk (en soms een gebrek aan RAM). Het roept dus de vraag op of ik wel iets opschiet met een efficientere CPU of dat de kans er is dat het nieuwe mobo/ram/nvme zoveel zuipen dat het weinig zin heeft.

Ik heb niet echt een concrete vraag anders dan "vraag ik me dit terecht af of zie ik het helemaal verkeerd?"

Verbruikt iedere node in jouw cluster gemiddeld 100W en in totaal dus 300W of verbruikt iedere node gemiddeld 30W?

Ik snap je vraag, maar in beginsel zullen de meeste servers voor thuis een korte piek/load hebben (afhankelijk wat je draait natuurlijk). Naarmate je meer/zwaardere/inefficiente containers draait zul je het idle verbruik zien toenemen. De hardware kan zeer zuinig zijn d.m.v. juiste keuzes en optimalisaties.

Zelf heb ik veel moeten experimenteren om geschikte (open source) software te vinden die ook zuinig was.
Zo was ik 2 jaar geleden blij dat ik een ELK stack had draaien, maar als ik keek wat dat met het idle verbruik deed vond ik dat niet te verantwoorden. Na lang zoeken (en experimenteren) heb ik andere alternatieven gevonden die in idle vrijwel niets verbruiken. Heeft zeker wat effort gekost maar het is wat mij betreft de moeite waard geweest.

Edit: daarnaast is het ook een kwestie van keuzes maken of iets het waard is. Zo wilde ik een tijd geleden een proxmox cluster + separate data oplossing hebben want dan hoef ik nergens naar te kijken mocht er iets uitliggen. Maar ja toen ik zag wat het totaalverbruik zou gaan worden heb ik uiteindelijk gekozen om een pas op de plaats te maken .

(Ben trouwens wel benieuwd wat je allemaal hebt draaien.)

[ Voor 4% gewijzigd door daily.data.inj op 10-01-2023 13:12 ]

[dcm360]

Dat er overal koelvinnen op verschijnen heeft te maken met een leuke paradox: moderne hardware is zeer zuinig, maar kan ook flink zuipen. Een goede nvme-SSD gebruikt in idle enkele mW's, maar voor de volle performance enkele W's waarvan de warmte niet meer zonder heatsink goed af te voeren is. En dit geldt eigenlijk wel voor de meeste chips die je tegenkomt: in idle is het verbruik verwaarloosbaar, maar onder langer durende load is er meer nodig dan het contactoppervlak van de chip voor warmte-afvoer.

[CAPSLOCK2000]

dcm360 schreef op dinsdag 10 januari 2023 @ 13:22:
Dat er overal koelvinnen op verschijnen heeft te maken met een leuke paradox: moderne hardware is zeer zuinig, maar kan ook flink zuipen. Een goede nvme-SSD gebruikt in idle enkele mW's, maar voor de volle performance enkele W's waarvan de warmte niet meer zonder heatsink goed af te voeren is. En dit geldt eigenlijk wel voor de meeste chips die je tegenkomt: in idle is het verbruik verwaarloosbaar, maar onder langer durende load is er meer nodig dan het contactoppervlak van de chip voor warmte-afvoer.

Yup, dat is zo'n beetje de onderbouwing van mijn onderbuik. Ik voel alles steeds warmer worden ondanks dat iedere generatie zegt nog zuiniger te zijn dan de vorige. Strict genomen klopt dat ook wel maar praktisch gezien blijft het totale gebruik toenemen.

Ik kijk daarom nu naar ARM en RISC-V SBC's en dergelijke die minder krachtig en misschien minder efficient zijn dan een Core-iVeel maar netto een stuk minder verbruiken.

[Arrigi]

Ik ken je eisen niet, maar er zijn inmiddels manieren om een cluster van raspberry computes te bouwen, bvb deze van Jeff Geerling

Hij toont een totaalverbruik (idle) van 18W. Nu heb je met zo'n bord geen mooie redundantie (alles op 1 gedeeld bord), maar je kan wel degelijk een low-power cluster bouwen zo.

Zo één node met 8GB kost je ongeveer 85 euro, voorraad lijkt wel lastig te zijn. Maar ik gok dat er nog zo'n alternatieven zijn.
Is 8GB per node niet genoeg voor je doeleinden?

[CAPSLOCK2000]

daily.data.inj schreef op dinsdag 10 januari 2023 @ 13:04:
Verbruikt iedere node in jouw cluster gemiddeld 100W en in totaal dus 300W of verbruikt iedere node gemiddeld 30W?

3x100 dus in totaal 300W . Het zijn allemaal "grote" systemen met meerdere HD's, extra nics en een GPU.
Overigens zal ik niet beweren dat deze systemen momenteel optimaal zijn geconfigureerd voor zuinigheid. Ik denk dat er nog best veel te winnen is maar het lukt me dusver niet echt om er grip op te krijgen, zoals je hieronder zal lezen.

Zelf heb ik veel moeten experimenteren om geschikte (open source) software te vinden die ook zuinig was.
Zo was ik 2 jaar geleden blij dat ik een ELK stack had draaien, maar als ik keek wat dat met het idle verbruik deed vond ik dat niet te verantwoorden. Na lang zoeken (en experimenteren) heb ik andere alternatieven gevonden die in idle vrijwel niets verbruiken. Heeft zeker wat effort gekost maar het is wat mij betreft de moeite waard geweest.

Ik ben zeer benieuwd naar de alternatieven die je gevonden hebt want ELK is inderdaad iets dat ik wel zou willen maar eigenlijk een maatje te groot/zwaar is.

Edit: daarnaast is het ook een kwestie van keuzes maken of iets het waard is. Zo wilde ik een tijd geleden een proxmox cluster + separate data oplossing hebben want dan hoef ik nergens naar te kijken mocht er iets uitliggen. Maar ja toen ik zag wat het totaalverbruik zou gaan worden heb ik uiteindelijk gekozen om een pas op de plaats te maken .

De overeenkomsten tussen onze situatie is groot
Een van de oude servers vervangen door aparte clusters voor containers, vms en storage was al het plan voor ik naar energieverbruik ging kijken.

(Ben trouwens wel benieuwd wat je allemaal hebt draaien.)

Laat ik even beginnen met "infrastructuur".

Een CEPH (storage) cluster.
Een Docker Swarm (containers) cluster.
Een libvirt (vms) cluster.
Een firewall/router cluster.
Een compile-cluster.

Al deze clusters draaien naast elkaar op dezelfde drie fysieke systemen.
Het grootste pijnpunt is dat Docker graag zelf het netwerk en firewall wil beheren en dat dit enorm bijt met de andere functies. Docker in een VM draaien zou helpen maar de oudste server heeft daar eigenlijk niet genoeg RAM voor.

Iets vergelijkbaars geldt voor CEPH, dat wil ook liever alleen zijn en liever ook niet gevirtualiseerd worden.
Extra spannend is dat mijn ceph-cluster ín docker draait én dat zelfde cluster ook data opslaat op CEPH. Dat is een beetje een circulaire afhankelijkheid en dus niet echt handige. (Ook een aantal VMs hebben hun storage op CEPH).

Een derde pijnpunt is dat 3 nodes eigenlijk te weinig is voor echte high-availability. Met 3 nodes kun je één probleem opvangen en dat is mooi maar fouten herstellen is ongeveer het meest riskante wat je met een systeem kan doen. Dat is het moment dat nieuwe/andere fouten opduiken (of dat nu bugs zijn of denkfouten van de beheerder). Het is me iets te vaak gebeurt dat ik tijdens het oplossen van een probleem nog een 2e node kapot maak waarna de 3 node besluit niet alleen verder te willen gaan en ik niks over heb.

Een beetje gerelateerd is dat je bij een cluster altijd wat extra vrije ruimte nodig hebt om te gebruiken als er een node wegvalt. Bij een cluster van 2 nodes zal iedere node dus maar half gebruikt kunnen worden en bij 3 nodes verlies je 1/3 van je capaciteit. Met vijf nodes hoef je maar 1/5 te reserveren. Als je meer nodes wil kunnen verliezen moet je nog meer extra ruimte reserveren. Wat dat betreft wil ik dus het liefst zo veel mogelijk nodes.

Mijn firewall/router is ook helemaal virtueel zodat ik altijd internet heb, ook als een van de servers stuk is.

Dit was dus allemaal pure infrastructuur. Daarboven draai ik een hoop verschillende diensten, oa webservers, mailservers, dns-servers, dhcp-servers, puppet, verschillende database, home automation, downloads, verschillende fileservers (oa nfs, syncthing, git, rsync, scp), een virtuele desktop, jumphosts, verschillende vormen van VPN, tor, centrale logging, centrale calender & adresbook, voip, webmail en nog wel meer dat ik zo snel niet kan bedenken.
Al deze diensten en applicaties zijn op de een of andere manier high-available gemaakt. Ofwel door meerdere instanties te hebben ofwel door een clustermanager die ze (her)start op de beschikbare hardware.

Voor de duidelijkheid, dit is hobby, ik heb niet de illusie dat al deze high-availability keuzes meer problemen oplossen dan veroorzaken. Het zou waarschijnlijk stabieler zijn als ik alles op 1 grote bak zou onderbrengen en alle redundantie en high-availability laat varen. Maar wel een stuk minder leuk en als het werkt is het echt heel fijn om een systeem uit te kunnen zetten zonder dat overal begint te piepen en te kraken.

Om het weer terug te buigen naar zuinige servers, al die clusters zijn voortdurend met zichzelf in gesprek en iedere seconde is er wel een availability check, synchronisatie of statusupdate, en anders is het wel dat het systeem updates gaat installeren, dat puppet draait, of dat een van de andere stukjes mgmt software in actie komt. Alles bij elkaar zijn die systemen nooit echt idle. Er is altijd wel iets aan het pruttelen.

Ik ben nu zover dat ik overweeg om het maar op te geven en voor een andere aanpak te gaan. bv 4 losse clusters van ieder 5 kleine computers zodat ik ieder systeem kan optimaliseren voor 1 taak. Dat is wel helemaal het omgekeerde van de zeer geconsolideerde systemen die ik dusver heb gebruikt.

[dcm360]

CAPSLOCK2000 schreef op dinsdag 10 januari 2023 @ 13:37:
[...]

Yup, dat is zo'n beetje de onderbouwing van mijn onderbuik. Ik voel alles steeds warmer worden ondanks dat iedere generatie zegt nog zuiniger te zijn dan de vorige. Strict genomen klopt dat ook wel maar praktisch gezien blijft het totale gebruik toenemen.

Het hangt er ook wel een beetje van af in welk segment je nog aan het kijken bent. Stel je zoekt zoals enkelen hier stiekem meer in het performance-segment dan naar absolute zuinigheid, kan je met moderne hardware zo enkele tientallen watts besparen. Zo heb ik nu 10Gb netwerk, 32GB RAM extra en een nvme-array in mijn 'nieuwe' (nu al 3 jaar oude server) zitten, en bespaar ik 50 euro per jaar op stroomkosten. Op absolute zuinigheid valt het de laatste jaren wel een beetje tegen.

Ik kijk daarom nu naar ARM en RISC-V SBC's en dergelijke die minder krachtig en misschien minder efficient zijn dan een Core-iVeel maar netto een stuk minder verbruiken.

In dat segment zijn wellicht ook de ITX-bordjes met onboard x86-CPU interessant. Daar vind je bijvoorbeeld ook CPU's met enkel wat men tegenwoordig E-cores noemt.

[CAPSLOCK2000]

Arrigi schreef op dinsdag 10 januari 2023 @ 13:52:
Ik ken je eisen niet, maar er zijn inmiddels manieren om een cluster van raspberry computes te bouwen, bvb deze van Jeff Geerling

Hij toont een totaalverbruik (idle) van 18W. Nu heb je met zo'n bord geen mooie redundantie (alles op 1 gedeeld bord), maar je kan wel degelijk een low-power cluster bouwen zo.

Zo één node met 8GB kost je ongeveer 85 euro, voorraad lijkt wel lastig te zijn. Maar ik gok dat er nog zo'n alternatieven zijn.
Is 8GB per node niet genoeg voor je doeleinden?

Dat is vrijwel precies wat ik in gedachte heb maar dan gebaseerd op een ander bordje (iets van Rock) en met 16GB RAM. De beperkte hoeveelheid RAM is een van de zaken die me tegenhoudt. Ik heb een server die ik wil vervangen omdat die maar 16GB RAM heeft. Nu helpt het wel om meerdere van die bordjes te kopen maar daarmee neemt de totale hoeveelheid overhead ook toe. Al die bordjes moeten toch weer een OS draaien, een voeding hebben, twee vrije poorten op de switch, een SD-kaartje en/of NVME-drive.
Ik koop zo'n systeem met het idee dat het 10 jaar mee moet gaan. Ik moet dus beoordelen of ik over 10 jaar nog genoeg heb aan 16G RAM per node en mijn gevoel zegt van niet.


Zo'n kaal bordje kun inderdaad voor minder dan 100 euro hebben maar als je niet oplet komt daar nog eens het dubbele bij aan extra onderdelen. 20 losse USB-C voedingen lijkt mij ook niet optimaal maar een adapter met 20 USB-C PD poorten heb ik nog niet gevonden en zou waarschijnlijk verschikkelijk duur zijn.

Ik heb verschillende setups doorgerekend (van 3 raspberry pi's tot 20 AMD Ryzens) en daar komt duidelijk uit dat nodes met meer RAM voordeliger zijn ook al zijn relatief duur. Helaas heb je nog geen ARM SBC's met meer dan 16GB RAM en de bordjes die wel zoveel RAM hebben zijn niet de allerzuinigste (TDP 12W vs 5W voor een gangbaar 8GB bordje).

[CAPSLOCK2000]

dcm360 schreef op dinsdag 10 januari 2023 @ 14:42:
In dat segment zijn wellicht ook de ITX-bordjes met onboard x86-CPU interessant. Daar vind je bijvoorbeeld ook CPU's met enkel wat men tegenwoordig E-cores noemt.

Daar kijk ook al een beetje naar. Dat ze x86-compatible zijn vind ik best wel een groot voordeel. De lange termijn support van veel van die ARM-chips lijkt toch wat minder te zijn. Overigens meen ik dat de CPU's met alleen E-cores op dit moment nog niet daadwerkelijk te krijgen zijn maar daar kan ik me in vergissen.

[Arrigi]

Ik heb nu zo'n passief-gekoelde N5105 als router opgezet. Idle tot 5W, maximum tot 30W? Kan je meteen uitrusten met 32GB. Maar dat kost je dan ook meteen waarschijnlijk 200-250 euro per node.

Ivm die USB-C voedingen: 20x 15W (of meer) piek zou ook al een hele dikke USB-voeding zijn. Splitten over 2 of 3 voor je redundantie lijkt me ook wenselijk.

[dcm360]

CAPSLOCK2000 schreef op dinsdag 10 januari 2023 @ 14:49:
[...]


Daar kijk ook al een beetje naar. Dat ze x86-compatible zijn vind ik best wel een groot voordeel. De lange termijn support van veel van die ARM-chips lijkt toch wat minder te zijn. Overigens meen ik dat de CPU's met alleen E-cores op dit moment nog niet daadwerkelijk te krijgen zijn maar daar kan ik me in vergissen.

De CPU's met enkel iets wat Intel labelt als E-cores moeten inderdaad nog komen, maar de E-cores familie is niet zomaar ineens uit de lucht komen vallen. Uit die familie komen al vele jaren processors in de Atom, Celeron en Pentium labels. Op Wikipedia kan je in het infoblokje vrij makkelijk door de generaties heen lopen.

[Mars Warrior]

CAPSLOCK2000 schreef op dinsdag 10 januari 2023 @ 12:38:
Ik heb hier drie servers staan die samen een cluster vormen, de oudste is meer dan 10 jaar oud, de nieuwste 2 jaar. Ze doen dus alle drie ongeveer hetzelfde werk maar op totaal andere hardware. Het verbruik van die drie systemen zit toch behoorlijk dicht bij elkaar (rond de 100W). De nieuwe server is veel sneller dan de oude server maar in praktijk merk ik daar weinig van, het is toch wel snel genoeg. De bottlenecks zitten bij storage en netwerk (en soms een gebrek aan RAM). Het roept dus de vraag op of ik wel iets opschiet met een efficientere CPU of dat de kans er is dat het nieuwe mobo/ram/nvme zoveel zuipen dat het weinig zin heeft.

Gezien je hardware, maar ook de software die je draait, en dan met name Ceph is de kans op een zuinig systeem redelijk kansloos. Je krijgt gewoon het verbruik dat je hebt gecreëerd met deze omgeving

Die 300W is 2.628kWh (ca €1000 / jaar bij €0,40/kWh), zo ongeveer mijn jaarverbruik

Zolang je niet weet wat het verbruik is van de afzonderlijke onderdelen, is een bespaar-aanpak ook geen doen. Een zwaar TDP gelimiteerde CPU zal zeker helpen, net als een iGPU ipv een losse GPU, maar in absolute termen niet te voorspellen.

Hobbies kosten nu eenmaal centjes.

[CAPSLOCK2000]

Mars Warrior schreef op woensdag 11 januari 2023 @ 13:55:
Gezien je hardware, maar ook de software die je draait, en dan met name Ceph is de kans op een zuinig systeem redelijk kansloos. Je krijgt gewoon het verbruik dat je hebt gecreëerd met deze omgeving

Dat is me een beetje te makkelijk. Dat ik het niet met 5W ga redden is duidelijk maar "zuinig" is een relatief begrip. Ik ben al een tijdje klaar om de oudste server te vervangen omdat daar niet meer dan 16GB RAM in kan. De huidige stroomprijs is een goed excuus om daar wat vaart mee te maken en misschien wat meer uit te geven aan de "juiste" hardware.

Eerlijk gezegd verbaasde me ik ook nogal hoe dicht het verbruik van die systemen bij elkaar ligt ook al is de hardware totaal verschillend en overspant meer dan 10 jaar. Die oudste server staat flink te pruttelen terwijl de nieuwste nauwelijks belast wordt. Toch scheelt het allemaal maar 10%.

Het is geen eerlijke vergelijking maar toch. Het suggereert een beetje dat de workload veel bepalender is voor het gebruik dan de hardware waarop die workload draait. Op zich is dat niet gek, maar ik had meer verschil verwacht.

Die 300W is 2.628kWh (ca €1000 / jaar bij €0,40/kWh), zo ongeveer mijn jaarverbruik

Yup, en ik heb niet gezegd dat dit de enige apparaten hier in huis zijn... Mijn gasrekening valt goed mee...

Zolang je niet weet wat het verbruik is van de afzonderlijke onderdelen, is een bespaar-aanpak ook geen doen. Een zwaar TDP gelimiteerde CPU zal zeker helpen, net als een iGPU ipv een losse GPU, maar in absolute termen niet te voorspellen.

Dat is inderdaad een beetje mijn frustratie omdat het vaststellen van het verbruik van de afzonderlijke onderdelen niet te doen is omdat het systeem alleen als geheel functioneert. In theorie zou ik een voor een onderdelen kunnen vervangen en kijken wat dat doet met het verbruikt maar thuis is dat niet te doen want wie heeft nu alternatieve processoren op de plank liggen om mee te testen.

Eerlijk gezegd had ik gedacht dat de verschillen tussen de systemen groter zouden zijn. Dat geeft me een beetje het gevoel dat het geen zin heeft om voor zuinig te gaan en ik net zo goed een of ander xeon-monster neer kan zetten.

Een van de overwegingen die ik heb is om mijn 3 grote servers die allemaal alles doen te vervangen door een aantal clusters van kleine machines die maar 1 taak per systeem hebben en dus makkelijker kunnen worden geoptimaliseerd.

Hobbies kosten nu eenmaal centjes.

Zeker, als je goed oplet zal het je opvallen dat ik vooral voor mezelf goed aan het praten ben dat ik weer een bak geld in deze hobby steek. Op lange termijn spaar ik geld, echt waar.
De energierekening is niet het sterkste argument voor mijn project maar vanuit milieuoogpunt schaam ik me wel een beetje voor mijn verbruik. Ik heb wel zonnepanelen maar die leveren niet genoeg.

Ik kom hier niet echt met concrete vragen maar vooral om mijn twijfels en frustraties te delen. Het opschrijven helpt me mijn gedachten op orde te krijgen. Niettemen ben ik wel degelijk geinteresseerd in jullie meningen en reacties, je weet nooit wanneer je een nieuw inzicht krijgt.

[ Voor 4% gewijzigd door CAPSLOCK2000 op 11-01-2023 15:43 ]

[Zsub]

CAPSLOCK2000 schreef op woensdag 11 januari 2023 @ 15:38:
[...]

Ik kom hier niet echt met concrete vragen maar vooral om mijn twijfels en frustraties te delen. Het opschrijven helpt me mijn gedachten op orde te krijgen. Niettemen ben ik wel degelijk geinteresseerd in jullie meningen en reacties, je weet nooit wanneer je een nieuw inzicht krijgt.

Ja zinnige vragen hoor! Zolang "het grote efficiente server topic" nog niet bestaat is dit topic wmb de beste plek om inzicht te krijgen over het verbeteren van de efficientie van het system, zelfs als we niet alleen maar voor zuinigheid optimaliseren.

Ik ga binnenkort mijn Asrock C2750D4l vervangen door een Supermicro X11SSH-F met een Xeon E3-1230 V6 en van 32GB naar 64GB ram (hopelijk! Anders heb ik een setje van 2x32GB DDR4 ECC UDIMMs in de aanbieding )

Ben benieuwd of er verschil in verbruik zal zijn, denk dat het wel aardig vergelijkbaar zal zijn.

[FireDrunk]

Zsub schreef op woensdag 11 januari 2023 @ 16:32:
[...]


Ja zinnige vragen hoor! Zolang "het grote efficiente server topic" nog niet bestaat is dit topic wmb de beste plek om inzicht te krijgen over het verbeteren van de efficientie van het system, zelfs als we niet alleen maar voor zuinigheid optimaliseren.

Ik ga binnenkort mijn Asrock C2750D4l vervangen door een Supermicro X11SSH-F met een Xeon E3-1230 V6 en van 32GB naar 64GB ram (hopelijk! Anders heb ik een setje van 2x32GB DDR4 ECC UDIMMs in de aanbieding )

Ben benieuwd of er verschil in verbruik zal zijn, denk dat het wel aardig vergelijkbaar zal zijn.

Waarom zo'n oude CPU? Kan/kon je er goedkoop aan komen?

[Zsub]

FireDrunk schreef op woensdag 11 januari 2023 @ 16:43:
[...]

Waarom zo'n oude CPU? Kan/kon je er goedkoop aan komen?

Ja. De homelab/tweedehands markt in Zwitserland is niet super (alles is superduur) en deze CPU zat bij het moederbord.

Ik wil mITX plus IPMI (hoewel dat in dit topic natuurlijk vloeken in de kerk is ) plus ECC, dat beperkt ook nogal.

[Mars Warrior]

CAPSLOCK2000 schreef op woensdag 11 januari 2023 @ 15:38:
[...]
Eerlijk gezegd verbaasde me ik ook nogal hoe dicht het verbruik van die systemen bij elkaar ligt ook al is de hardware totaal verschillend en overspant meer dan 10 jaar. Die oudste server staat flink te pruttelen terwijl de nieuwste nauwelijks belast wordt. Toch scheelt het allemaal maar 10%.

Het is geen eerlijke vergelijking maar toch. Het suggereert een beetje dat de workload veel bepalender is voor het gebruik dan de hardware waarop die workload draait. Op zich is dat niet gek, maar ik had meer verschil verwacht.

Dit klopt wel ja wat je hier aangeeft: oudere systemen (zeker Intel) hadden een relatief lage TDP. En dan krijg je - ondanks zware belasting - toch nog een relatief laag verbruik.

De nieuwere CPU's gaan al snel naar een TDP van 150W en schieten bij lichte belasting zo al 20-50W omhoog in verbruik.

Verder maakt het ook uit wat het basisverbruik van het moederbord is. Als die al 20W idle verbruikt, dan schiet je ook al snel je doel voorbij als het zuinig moet zijn.

Je kunt ook omgekeerd gaan rekenen:

• Neem een Kontron bord met Intel CPU: dan weet je dat je basis rond d 5W zit met bijv een RM550x voeding.
• Kijk daarna of je het verbruik van de rest van het systeem kunt vinden op internet (netwerk, schijven, etc), en tel dat daar bij op.
• Je komt dan in ieder geval op een MINIMUM verbruik uit in idle.

De nieuwe CPU's (zowel AMD als Intel) kun je eenvoudig in de BIOS op power limiteren. Een eenvoudige quadcore als de 12100 doet het nog goed bij een limiet van 40W.

Op die manier kun je een soort MAX bepalen bij 100% belasting.

Wat we nooit weten is wat het verbruik bij x% belasting is: dat is erg afhankelijk van de soort belasting en is niet echt lineair. Niemand meet dit echter, want erg specifiek. Dat zie je bij watt metingen bij games: de ene game verbruikt veel meer dan de andere.

Als een CPU fabrikant nu zou opgeven wat een CPU bij 10%, 20% etc zou verbruiken, net als bij ATX voedingen, dan zou je een veel betere keuze kunnen maken.

Intel bijv. is (met het juiste moederbord) erg goed in idle verbruik, en (tegenwoordig) slechter in verbruik bij belasting. AMD daarentegen heeft iha een hoog/hoger idle verbruik, maar blijkt (zeker de 7000 serie) erg efficient bij belasting: de 12 core 7900 verbruikt max ca 90W.

[Mars Warrior]

Zsub schreef op woensdag 11 januari 2023 @ 17:02:
[...]

Ja. De homelab/tweedehands markt in Zwitserland is niet super (alles is superduur) en deze CPU zat bij het moederbord.

Ik wil mITX plus IPMI (hoewel dat in dit topic natuurlijk vloeken in de kerk is ) plus ECC, dat beperkt ook nogal.

De Supermicro X10SLL-F met PicoPSU en 2.5" HDD doet 13W in idle. Geen idee of 11-gen ook zo zuinig is (relatief dan natuurlijk).

[Raven]

Mars Warrior schreef op woensdag 11 januari 2023 @ 17:11:
[...]

De Supermicro X10SLL-F met PicoPSU en 2.5" HDD doet 13W in idle.

Hoeveel daarvan is voor de IPMI?

[Mars Warrior]

Raven schreef op woensdag 11 januari 2023 @ 18:05:
[...]

Hoeveel daarvan is voor de IPMI?

15W

[Woodski]

Volgens Intel Ark heeft mijn CPU (een gen 10 i7 T) DDR4-2933 geheugen nodig..
Nu ken ik 2666 en 3200 maar niet 2933

Wat is dan wijsheid, 3200 kopen of toch gewoon 2666 omdat het een fractie zuiniger is ?
Ik wil eigenlijk de goedkoopste Kingston pakken en die is 3200

[Remc0_]

Woodski schreef op woensdag 11 januari 2023 @ 18:40:
Volgens Intel Ark heeft mijn CPU (een gen 10 i7 T) DDR4-2933 geheugen nodig..
Nu ken ik 2666 en 3200 maar niet 2933

Wat is dan wijsheid, 3200 kopen of toch gewoon 2666 omdat het een fractie zuiniger is ?
Ik wil eigenlijk de goedkoopste Kingston pakken en die is 3200

Voor zover ik me herinner ga je redelijk in de marge werken qua energie verbruik. Zolang er geen headspreaders opzitten zal het verbruik weinig uitmaken onderling, dus ik zou het goedkopere Kingston setje nemen.

[Settler11]

Korte vraag met misschien wel met een kort antwoord: Momenteel heb ik een klein zelfgebouwde nas met xpenology erop draaiende. Wel een oude versie 6.1.7 met enkel Plex Media Server native draaien en de rest via Docker (sonarr, radarr en nzbget). Vraagt harstikke weinig aan rekenkracht.

Alleen het updaten van xpenology (of installeren zelf) was niet bepaald eenvoudig om werkend te krijgen.

Vandaar dat ik keek naar wat anders en vond Truenas. Maar daarbij ook gelijk wellicht een nieuwe zelf-build nas. Uiteraard ook wat wezen rondneuzen qua hardware.

Momenteel bestaat mijn nas uit:

• uitvoering: Asus J3455M-E
• Pico voeding
• 1/2 gebruikte sloten ddr3 4gb.
• Enkele 3,5" schijf momenteel van 3TB

Volgens mijn huidige bordje haalt die een max TDP van 10W. En bij OP las ik mobo's van o.a. asrock en Fujitsi.

En dan de vraag: Als ik een Fujutsi bordje neem met een 1151 socket en bijv. de genoemde G5400 cpu, is dat dan niet een stuk onzuiniger voor iets meer rekenkracht? Mn huidige mobo heeft namelijk een Intel Celeron J3455: https://www.cpubenchmark....00-vs-Intel-Celeron-J3455

Vergeef me onkunde, ik ben op dit gebied nog best wel een leek.

[cville]

Ik probeer via ftp://ftp.kontron.com/ser...e_tools/bios-flash-tools/ te kijken naar het meest recente BIOS van mijn K3843-B board. Ik weet zeker dat deze site in december nog werkte maar nu komt er niets meer. Weet iemand waar ik het BIOS voor de K3843-B kan downloaden?

[Arrigi]

cville schreef op donderdag 12 januari 2023 @ 15:48:
Ik probeer via ftp://ftp.kontron.com/ser...e_tools/bios-flash-tools/ te kijken naar het meest recente BIOS van mijn K3843-B board. Ik weet zeker dat deze site in december nog werkte maar nu komt er niets meer. Weet iemand waar ik het BIOS voor de K3843-B kan downloaden?

Ik heb nul ervaring, maar vond wel snel dit https://ftp.kontron.com/main.html . Inloggen kan zoals je anoniem op een klassieke FTP binnengeraakt

Als je dan Products > Motherbords > ExtendedLifeCycle > K3843-B > BIOS_K3843 afklikt (web link maken mag anoniempje niet) kan je met een dubbelklik (of selecteren + download) toch een bestand downloaden.

Ik heb nu o.a. K3843-B1.R1.4.0.BIN staan, is dat wat je zoekt?

[cville]

Zeker. Bedankt voor je hulp; ik kon voorheen zonder inloggen hier naar toe.

[jeroen__online]

In al het Intel-geweld zal ik hier ook maar eens posten, zeker gezien de relatief weinig zuinige servers met AMD CPU's. Ik heb mijn bijna 10 jaar oude mediacenter/server recent vervangen, ik gebruik hem als mediacenter, file storage, incidentele host voor een enkele VM, (non-24/7) dedicated server voor wat games en om op te browsen. Dit was de oude hardware:

• Core i5-4440 (4x 3.3Ghz, gekoeld door een Scythe Big Shuriken 2)
• Asrock H87M Pro4
• 16GB DDR3 (2x 8GB 1600Mhz)
• Kingston A2000 1TB NVMe SSD (via PCIe M2 insteekkaart)
• TOSHIBA DT01ABA300 3TB SATA HDD
• DVD-drive SATA
• PicoPSU-120
• Leicke 120W 12V adapter

Als OS draait het systeem Debian Bullseye met kernel 5.10 (default kernel).
Het idle verbruik was met 17W niet heel verkeerd vond ik zelf (gemeten met een EnergyCheck3000, HDD in spindown). Zonder de PCIe M2 insteekkaart was het ongeveer 2W lager meen ik.

Belangrijkste reden om naar wat nieuws te kijken was dat ik er wat vaker op wilde gamen en 4k-content op wil kunnen afspelen, de oude setup schoot daarin tekort. Ik ben erg te spreken over de AMD CPU's van de afgelopen jaren (zeker die met IGP), maar het moest natuurlijk wel zuinig blijven. Erg veel kon ik niet vinden over bijvoorbeeld de totale idle power consumption van een 4650G/5600G op het AM4-platform (B450/B550, de X-varianten zijn sowieso minder zuinig), dus was het ook deels een gok. Ik heb recent het moederbord, de CPU en RAM vervangen door het volgende:

• AMD Ryzen 5 Pro 4650G (6x 3.7Ghz, gekoeld door een aangepaste Scythe Big Shuriken 2)
• Asrock B550M-HDV (Bios 2.40)
• 32GB DDR4 (2x 16GB Kingston Fury Renegade @ 3.6Ghz C16)

Door het nieuwe moederbord heb ik de PCIe M2 insteekkaart niet meer nodig. Ik ben nog steeds een beetje aan het tweaken (bijv. BIOS instellingen), maar vooralsnog doet het systeem 13.5W idle (HDD in spindown) ik ben blij verrast door die score, zeker onder Linux. Mogelijke verbetering zit nog in de nieuwe AMD P-states (beschikbaar bij kernel 5.17 en hoger), vooralsnog kwam ik met de 6.0 kernel uit Debian Testing een paar watt hoger uit maar daar moet ik nog eens induiken.

Hopelijk kan ik hiermee iemand anders inspireren, sowieso interessant om de verschillende ervaringen met verschillende hardware te lezen

[HotSpot79]

@jeroen__online Leuk om dit eens te lezen. Ik heb een soortgelijke setup. Een i5-4460 op een Asrock moederbord met hdd in spindown doet bij mij dan idle ongeveer 7 a 8 Watt.

• Asrock Z97e-itx
• Intel Core i5-4460 @3.2GHz
• 2x 8GB memory
• 3x 10TB WD101EFAX WD Red (spindown, in raid5)
• 1x 500GB Samsung 870 Evo (boot)
• Pico PSU 90W met 90W Power adapter (Leicke)

Dit doet dus ongeveer 7 tot 8 Watt idle. Als de processoren flink moeten werken maximaal iets van 40W.

Tevens heb ik een ander AMD systeem (ongeveer gelijk aan die van jou):

• Asrock Rack X570D4U (8x SATA)
• AMD Ryzen 5 Pro 4650G
• 2x 32GB ECC memory
• 2x 2TB NVME Adata SX8200 Pro (Raid1 als boot)
• 6x 4TB Samsung 870 EVO (raid5 met de QVO)
• 2x 4TB Samsung 8670 QVO (raid5 met de EVO)
• Pico PSU 90W met 120W Leicke Power adapter

Op dit systeem draaien een aantal containers, met 1x HASS OS VM, en Zoneminder, mail servers, Nextcloud, NUT, en nog vele andere applicaties.

Idle ongeveer 30 a 31W. Zonder Zoneminder 26 Watt. Zoneminder heeft veel processorkracht nodig om beelden te analyzeren en verdoet daarom veel stroom. Beste wat ik ooit had gehad is 23W idle. Dit klinkt misschien wel veel, maar dit moederbord heeft ook IPMI (ASPEED2500) en die vreet ongeveer 10-12W en helaas kan ik daar niet veel aan tweaken.

Wel heb ik de 4650G in de 35W modus gezet. Dus als hij moet opschalen zou het niet heel hard moeten gaan met het verbruik. Dat is mijn aanname, kan het niet echter niet makkelijk aantonen.

Bij deze mijn 2cts...

[Vishari Beduk]

jeroen__online schreef op donderdag 12 januari 2023 @ 20:11:
AMD Ryzen 5 Pro 4650G (6x 3.7Ghz, gekoeld door een aangepaste Scythe Big Shuriken 2)

De 5600G is van een nieuwere generatie en heeft meer cache.
Nu ben ik toch nieuwsgierig waarom je dan toch voor de 4650G zou kiezen

[jeroen__online]

HotSpot79 schreef op donderdag 12 januari 2023 @ 20:37:
@jeroen__online Leuk om dit eens te lezen. Ik heb een soortgelijke setup. Een i5-4460 op een Asrock moederbord met hdd in spindown doet bij mij dan idle ongeveer 7 a 8 Watt.

• Asrock Z97e-itx
• Intel Core i5-4460 @3.2GHz
• 2x 8GB memory
• 3x 10TB WD101EFAX WD Red (spindown, in raid5)
• 1x 500GB Samsung 870 Evo (boot)
• Pico PSU 90W met 90W Power adapter (Leicke)

Dit doet dus ongeveer 7 tot 8 Watt idle. Als de processoren flink moeten werken maximaal iets van 40W.

Dat is nog een stuk minder dan wat ik met m'n oude setup haalde, welk OS draai je?

Tevens heb ik een ander AMD systeem (ongeveer gelijk aan die van jou):

• Asrock Rack X570D4U (8x SATA)
• AMD Ryzen 5 Pro 4650G
• 2x 32GB ECC memory
• 2x 2TB NVME Adata SX8200 Pro (Raid1 als boot)
• 6x 4TB Samsung 870 EVO (raid5 met de QVO)
• 2x 4TB Samsung 8670 QVO (raid5 met de EVO)
• Pico PSU 90W met 120W Leicke Power adapter

Op dit systeem draaien een aantal containers, met 1x HASS OS VM, en Zoneminder, mail servers, Nextcloud, NUT, en nog vele andere applicaties.

Idle ongeveer 30 a 31W. Zonder Zoneminder 26 Watt. Zoneminder heeft veel processorkracht nodig om beelden te analyzeren en verdoet daarom veel stroom. Beste wat ik ooit had gehad is 23W idle. Dit klinkt misschien wel veel, maar dit moederbord heeft ook IPMI (ASPEED2500) en die vreet ongeveer 10-12W en helaas kan ik daar niet veel aan tweaken.

Wel heb ik de 4650G in de 35W modus gezet. Dus als hij moet opschalen zou het niet heel hard moeten gaan met het verbruik. Dat is mijn aanname, kan het niet echter niet makkelijk aantonen.

Bij deze mijn 2cts...

Ook niet verkeerd voor wat het doet!

Vishari Beduk schreef op donderdag 12 januari 2023 @ 21:19:
[...]

De 5600G is van een nieuwere generatie en heeft meer cache.
Nu ben ik toch nieuwsgierig waarom je dan toch voor de 4650G zou kiezen

De 4650G kon ik voor 60eu van een andere tweaker overnemen, de 5600G zou (nieuw) minstens het dubbele kosten. Wat ik uit benchmarks haalde was dat de 5600G ongeveer 10-20% sneller is dan de 4650G, verschil in power consumption heb ik weinig over kunnen vinden maar daar verwacht ik weinig verschil....

[mrmrmr]

@jeroen__online

Op een Duits forum heeft iemand een verbruik van 5,7W met een AMD 4650G gehaald. Dat is bijna twee keer meer dan een zuinig Intel systeem zou halen (Fujitsu D3643-H).

De AMD meting is gedaan met een oude AGESA (BIOS) versie, in dit geval v1.0.0.2. Die lijken zuiniger te zijn. AMD heeft vermoedelijk een onzuinige chipset.

Een pro moederbord dat je hebt is meestal niet geschikt voor een laag verbruik. Fabrikanten letten daar schijnbaar niet zo op zuinigheid.

Kun je eens een idle meting doen in de standaard configuratie? Moederbord, processor, geen insteekkaarten, geen hard disks, USB bedraad toetsenbord en dito muis, een SSD (best is SATA). Alleen de ventilator van de processor of passieve ventilatie. Verder geen USB apparaten of andere toeters en bellen. Besturingssysteem volledig geoptimaliseerd, bijvoorbeeld Debian 11 of Bookworm. De BIOS is bij sommige zuinige borden al geoptimaliseerd, soms moet dat nog worden gedaan. Zie topic start.

Zodoende is de basis van een systeem beter vergelijkbaar met wat anderen meten.

[Rickbhs]

cville schreef op vrijdag 6 januari 2023 @ 14:25:
[...]


Ik heb een paar maanden geleden een poging gedaan maar het uiteindelijk opgegeven omdat ik geen bruikbare antwoorden van Shelly kreeg. Het grootste problem was dat ik het polling interval niet kon instellen. Vragen via het forum en Shelly leverden niets op.

Ik heb ze teruggestuurd en uiteindelijk 2 Sonoff POW Origins (POWR316D) besteld waar ik Tasmota op geflashd heb. Ik heb 2 sets metingen gedaan met een 25W gloeilamp met een Pf van 0.98. De eerste meting kwam uit op 2.75% afwijking, de 2e op 2.49%. Tasmota geeft je ruime mogelijkheden om te kalibreren maar voor server power logging is dit ruim voldoende.

sorry even een late reactie ik heb de Shelly S bij mij geflashd met Tasmota waar na ik ze kon kalibreren hoe naukeurig ze dan zijn moet ik misschien is testen

[HotSpot79]

Vishari Beduk schreef op donderdag 12 januari 2023 @ 21:19:
[...]

De 5600G is van een nieuwere generatie en heeft meer cache.
Nu ben ik toch nieuwsgierig waarom je dan toch voor de 4650G zou kiezen

Andere reden zou kunnen zijn dat de 4650g wel ECC ondersteund en de 5600g niet. Ik zelf hecht er minder waarde aan.

[fjux]

Allen, ik heb een vraag, ik ben van plan om mijn oude server te gaan vervangen.

Opzet is niet helemaal lekker geweest, en gebruikte hem uiteindelijk meer voor NAS dan iets anders (en alle schijven beginnen nu 1 voor 1 het op te geven)
Oude server is op basis van een ASRock H81M-DGS en een Intel Celeron G1820.
Draait Proxmox met een bak aan containers (hoofdzakelijk: Home assistant, NAS, Sonarr en pi hole)

Nu zit ik te twijfelen over het volgende:

2 bay NAS bouwen met een odroid HC4 (waarschijnlijk wel met 3.5inch schijven van wegen data honger)
en dan los daarbij een odroid N2+ voor home assistant en dan nog een een losse RPI 4 (heb ik al liggen) voor "playground".
Ik dacht aan een HC4 voor nas vanwegen het algemene lage stroomverbruik van SBC, en 2x sata aansluiting via PCI. (lees overal dat USB HDD's worden afgeraden voor NAS)


Of zou ik beter kunnen gaan voor een nieuwe server build op basis van x86?
Gaat het veel schelen in stroomverbruik?

[ Voor 9% gewijzigd door fjux op 13-01-2023 09:49 ]

[GioStyle]

-

[ Voor 100% gewijzigd door GioStyle op 09-03-2023 09:59 ]

[fjux]

oh dat zijn mooie cijfers!

Maar is dan niet een normaal mobo beter ipv de H3, of gaat dan het verbruik ook flink omhoog?

ik zit zelf te kijken voor totaal rond de 20 a 30TB (ligt een beetje aan de kosten van de schijven)
Maar heb nu nog 1 goede 8TB schijf liggen, als ik die kan hergebruiken is dat natuurlijk ook mooi meegenomen.

[HotSpot79]

jeroen__online schreef op donderdag 12 januari 2023 @ 21:41:
[...]

Dat is nog een stuk minder dan wat ik met m'n oude setup haalde, welk OS draai je?

[...]

Ik draai op allebei de systemen Debian Bullseye met een 6.0.0 kernel.

[Settler11]

Settler11 schreef op donderdag 12 januari 2023 @ 00:30:
Korte vraag met misschien wel met een kort antwoord: Momenteel heb ik een klein zelfgebouwde nas met xpenology erop draaiende. Wel een oude versie 6.1.7 met enkel Plex Media Server native draaien en de rest via Docker (sonarr, radarr en nzbget). Vraagt harstikke weinig aan rekenkracht.

Alleen het updaten van xpenology (of installeren zelf) was niet bepaald eenvoudig om werkend te krijgen.

Vandaar dat ik keek naar wat anders en vond Truenas. Maar daarbij ook gelijk wellicht een nieuwe zelf-build nas. Uiteraard ook wat wezen rondneuzen qua hardware.

Momenteel bestaat mijn nas uit:

• uitvoering: Asus J3455M-E
• Pico voeding
• 1/2 gebruikte sloten ddr3 4gb.
• Enkele 3,5" schijf momenteel van 3TB

Volgens mijn huidige bordje haalt die een max TDP van 10W. En bij OP las ik mobo's van o.a. asrock en Fujitsi.

En dan de vraag: Als ik een Fujutsi bordje neem met een 1151 socket en bijv. de genoemde G5400 cpu, is dat dan niet een stuk onzuiniger voor iets meer rekenkracht? Mn huidige mobo heeft namelijk een Intel Celeron J3455: https://www.cpubenchmark....00-vs-Intel-Celeron-J3455

Vergeef me onkunde, ik ben op dit gebied nog best wel een leek.

Iemand een idee bij mijn vraag?

[ramonlambal]

fjux schreef op vrijdag 13 januari 2023 @ 10:18:
oh dat zijn mooie cijfers!

Maar is dan niet een normaal mobo beter ipv de H3, of gaat dan het verbruik ook flink omhoog?

ik zit zelf te kijken voor totaal rond de 20 a 30TB (ligt een beetje aan de kosten van de schijven)
Maar heb nu nog 1 goede 8TB schijf liggen, als ik die kan hergebruiken is dat natuurlijk ook mooi meegenomen.

Vooral de prijs zal flink vooruit gaan naar een echt idle zuinig systeem wilt, met bijv het vaak genoemde fujitsu moederbord + losse processor.
De H3 heeft 2 sata en een M2, dus voor wat jij wilt is dit al eigenlijk genoeg. Koop een 16TB disk bij je 8TB disk, en dan kun je op ten duur, indien nodig, je 8TB vervangen door een nieuwe schijf. Wel een goede voeding aansluiten dan, specs staan wel op de site van odroid.

[D43m0n]

Settler11 schreef op vrijdag 13 januari 2023 @ 11:16:
[...]


Iemand een idee bij mijn vraag?

Lastig, want je geeft aan weinig rekenkracht nodig te hebben en je motivatie lijkt vooral over het onderhoud van xpenology te gaan? Wat is je huidige idle verbruik met je huidige NAS? Misschien kun je nog een aantal jaren vooruit met dit systeem als het qua rekenkracht en opslag nog voldoet? Je geeft niet aan waar je tegen een grens aan loopt qua energieverbruik, opslagruimte of rekenkracht.

Als ik je vraag lees, dan lijk je eerder niet tevreden te zijn met xpenology (ik ken dat niet), maar twijfel je over TrueNAS (ken ik ook niet)?

[Settler11]

D43m0n schreef op vrijdag 13 januari 2023 @ 14:00:
[...]


Lastig, want je geeft aan weinig rekenkracht nodig te hebben en je motivatie lijkt vooral over het onderhoud van xpenology te gaan? Wat is je huidige idle verbruik met je huidige NAS? Misschien kun je nog een aantal jaren vooruit met dit systeem als het qua rekenkracht en opslag nog voldoet? Je geeft niet aan waar je tegen een grens aan loopt qua energieverbruik, opslagruimte of rekenkracht.

Als ik je vraag lees, dan lijk je eerder niet tevreden te zijn met xpenology (ik ken dat niet), maar twijfel je over TrueNAS (ken ik ook niet)?

Dankje! Ik wilde sowieso overstappen van 'besturingsysteem'. xpenology is wat Synology emuleert waardoor je met een (selectie) aan eigen hardware een NAS kan bouwen. Maar het updaten ervan is lastig/niet mogelijk met mijn build.

Daarom kijkende of ik misschien ook een andere build maar ga bouwen. Qua rekenkracht nu zit het wel prima. Ik doe alles lokaal en doe niet aan transcoden (Plex).

Mijn huidige build is 'redelijk' oud inmiddels en wellicht is het met hedendaagse hardware dat je veel meer performance haalt per dollar (euro). Dat is alles.

[D43m0n]

@Settler11 wat je eerst kun doen, voordat je geld uitgeeft aan nieuwe hardware, is kijken of je uit de voeten kunt met een ander host OS en bijvoorbeeld Docker containers (docker-compose)? Hardware is belangrijk voor een energiezuinige systeem, maar hoe je het inzet met software en configuratie maakt wel degelijk uit voor je verbruik. Wat je misschien kunt doen is een SSD bijplaatsen als je nog een vrije SATA poort hebt op je moederbord. Op die SSD plaats je het host OS met je containers. De bulk aan data zet je op die 3TB HDD zodat die in spin down kan wanneer nodig. Probeer slimme keuzes te maken tussen het mappen van volumes naar je Docker containers zodat die HDD niet voor een database actie elke minuut of 5min gebruikt wordt. Qua geheugen zou ik er meer in stoppen dan je huidige 4GB. Stop er genoeg in zodat je host OS niet veel gebruik hoeft te maken van swap, dat spaart je SSD en laat je HDD zolang als mogelijk in spin down. Je kunt de swappiness van je host OS aanpassen en per container kun je dat ook aangeven.

Als je nu niet tegen limieten aanloopt, kun je met een SSD en wat meer geheugen toevoegen aan je huidige NAS misschien nog wel een jaar of 4 of langer vooruit tegen een relatief laag energieverbruik.

[ Voor 7% gewijzigd door D43m0n op 13-01-2023 19:15 ]

[GioStyle]

-

[ Voor 99% gewijzigd door GioStyle op 09-03-2023 09:59 ]

[Settler11]

D43m0n schreef op vrijdag 13 januari 2023 @ 19:12:
@Settler11 wat je eerst kun doen, voordat je geld uitgeeft aan nieuwe hardware, is kijken of je uit de voeten kunt met een ander host OS en bijvoorbeeld Docker containers (docker-compose)? Hardware is belangrijk voor een energiezuinige systeem, maar hoe je het inzet met software en configuratie maakt wel degelijk uit voor je verbruik. Wat je misschien kunt doen is een SSD bijplaatsen als je nog een vrije SATA poort hebt op je moederbord. Op die SSD plaats je het host OS met je containers. De bulk aan data zet je op die 3TB HDD zodat die in spin down kan wanneer nodig. Probeer slimme keuzes te maken tussen het mappen van volumes naar je Docker containers zodat die HDD niet voor een database actie elke minuut of 5min gebruikt wordt. Qua geheugen zou ik er meer in stoppen dan je huidige 4GB. Stop er genoeg in zodat je host OS niet veel gebruik hoeft te maken van swap, dat spaart je SSD en laat je HDD zolang als mogelijk in spin down. Je kunt de swappiness van je host OS aanpassen en per container kun je dat ook aangeven.

Als je nu niet tegen limieten aanloopt, kun je met een SSD en wat meer geheugen toevoegen aan je huidige NAS misschien nog wel een jaar of 4 of langer vooruit tegen een relatief laag energieverbruik.

Thx.

Dat was zeker ook het idee om eerst de eigen hardware nog te gebruiken. Had nog een m2 naar pcie adapter voor een eenvoudige m2 ssd, maar die pakt 'm niet meteen op. Moet ik nog een keer naar kijken...

Geheugen toevallig ook mee bezig.

https://i.imgur.com/nsw4heC.png

Helaas kan ik momenteel geen verbruik delen. Ik heb hiervoor niet de gereedschap. Of er moet wat softwarematig iets voor zijn?

[ramonlambal]

GioStyle schreef op vrijdag 13 januari 2023 @ 19:33:
[...]
Ik heb één Odroid H2+ en twee Odroid H3’s en zijn allemaal aangesloten op Leicke 12V adapters. Het werkt dus prima op 12V, dat maakt de keuze voor voedingsadapters wel eenvoudiger. Let wel op het formaat pin. 12V voedingsadapters zijn meestal 5.5/2.5mm, maar de Odroids hebben uit mijn hoofd 5.5/2.1mm nodig.

Ja maar jij hebt er denk ik geen 3.5" HDDs aan hangen?

Dit is wat Odroid aanraad (voor de H3):

• DC jack : outer (ground) diameter 5.5mm, inner(positive) diameter 2.1mm
• DC 14V ~ 20V (up to 60W)
• DC 15V/4A power adapter is recommended if you don’t use two 3.5“ HDDs
• DC 19V/7A power adapter is recommended if you two 3.5” HDDs together

Nou lijkt me dat een beetje overdreven, maar een 3,5" HDD heeft al snel een startup current van 1A (op 12V)
Dan heb je dus 18W max gebruik van de Odroid, en 24W voor de HDDs = 42W of 3.5A@12Vdc
De aangeraden 15V/4A adapter lijkt mij dus geen overbodige luxe in dit geval.

edit: wd red plus datablad: 12 V gelijkstroom 1,85 A, piek

[GioStyle]

-

[ Voor 100% gewijzigd door GioStyle op 09-03-2023 10:01 ]

[D43m0n]

Settler11 schreef op vrijdag 13 januari 2023 @ 21:58:
[...]


https://i.imgur.com/nsw4heC.png

Helaas kan ik momenteel geen verbruik delen. Ik heb hiervoor niet de gereedschap. Of er moet wat softwarematig iets voor zijn?

Je kunt Plex/Emby/Jellyfin ook prima als container draaien. Van deze drie is Jellyfin naar mijn ervaring het meest gek op RAM.

Om het verbruik te meten heb je wel “hardware” nodig. Zo kun je een energieverbruiksmeter van Brennenstuhl o.i.d. gebruiken. Da’s lekker makkelijk en geeft je snel een beeld op het moment dat je kijkt. Ik heb een aantal Shelly Plugs. Die kun je met de Shelly Cloud verbinden en het energieverbruik uitlezen. Maar je kunt ze gelukkig ook met MQTT configureren zodat je volledig lokaal, zonder cloud een grafiek kunt maken met historisch verbruik. Daarvoor heb je dan iets als een Home Assistant voor (ook in Docker mogelijk). Je kunt het nog gekker maken (zoals ik gedaan heb). Dan stuur je die gegevens vanuit Home Assistant door naar InfluxDB om er mooie Grafana dashboards mee te maken (kan ook in Docker).

Heb je een slimme meter? Met een P1 naar USB kabeltje kun je die ook uitlezen bijvoorbeeld. Daar heb je ook weer software voor nodig. Maar dan kan een ander apparaat in je huis net even wat doen en dan zie je dat verbruik amper terug op de lijn. Ik ben begonnen met de slimme meter uitlezen en dan stekkers erin/eruit doen en even wachten. Daarna ben ik specifieker gaan kijken met Smart Plugs.

Dus ja, je kunt met een Brennenstuhl o.i.d. aan de slag en dan heb je geen software nodig. Maar… veel leuker is het natuurlijk om daar een grafiekje van te maken. Dan kun je inzicht krijgen in wat een bepaalde workload op je NAS met je verbruik doet. En dan heb je dus zowel hardware als wat software nodig

[Calrissian]

@GioStyle Welke behuizing gebruik jij voor je H3-NAS?
ik ben ook zoekend naar een compactere oplossing dan een gangbare itx case.