Het grote zuinige server topic - deel 3

[dcm360]

Met een vergelijkbaar systeem kwam ik uit op 13,2W, dus dat is wel ongeveer hetzelfde. Wel viel het me later nog op dat ASPM niet werkt.

[audiojunk]

eheijnen schreef op dinsdag 21 november 2023 @ 11:14:
Zijn er mensen hier die het gelukt is om een Ryzen 5600G onder de 10 watt idle te krijgen in een kaal systeem.

Wat voor een voeding gebruik je?
Ik zit met mijn 5700G op 10W idle met een be quiet! Pure Power 11 550W FM.

[eheijnen]

@GoBieN-Be
Ben nu met Win11 bezig op deze. Ga ook ff niet verder met Linux hierop. Heb hier ook een Bookworm 6.5 backport kernel op gehad met amd-pstates. Die pstates werken en zetten de CPU zelfs terug naar 400 Mhz. Met Windows 11 kom ik idle ook tegen de 14 watt aan met alle zuinigheids vlaggen op groen. CPU is in de bios begrenst op 35 watt.

@audiojunk
Voeding is een Meanwell LR-200-12 met een Intertech 200watt nas Pico. Voeding is zo gekozen omdat ik uiteindelijk een fan-less systeem wil hebben.

@dcm360
Die ASPM update van msi van een paar maanden (is uitgebracht voor problemen met Intel Arc gpu's) werkt volgens mij niet goed. Waarschijnlijk is dat de oorzaak van het "hoge" verbruik.

Daarnaast ben ik al bezig geweest met dat shell-script om die ASPM state te forceren. Maar daar reageert het systeem niet op, terwijl de lspci -vvv laat zien dat de instelling op de hardware is aangepast.

In mijn ogen is die bios update van MSI gericht op de problemen met de ARC kaarten en verder niets. De ASPM implementatie lijkt me dan ook disfunctioneel.

Daarom de eerdere vraag om te kijken welke borden er gebruikt zijn en waarmee dat wel lukt...

[eheijnen]

@dcm360
Was dat met dat Biostar bord...?

[audiojunk]

Met een ASUS ROG Strix B550-I Gaming en een Pico PSU kan je 5W halen.

https://www.computerbase....kuenstler.1967755/page-17

[delanget]

delanget schreef op maandag 20 november 2023 @ 20:01:
[...]


Long time lurker hier. Ik heb onlangs ook een fujitsu aangeschaft om mee te spelen, de esprimo q556/2, waarbij de /2 staat voor het toegevoegde m.2 slot t.o.v. de q556. Data sheet: https://cdn.cnetcontent.c...a43-8e78-ef112d22ea3b.pdf en white paper energy consumption: https://sp.ts.fujitsu.com...energy-ESPRIMO-Q556-2.pdf. Door het lezen van dit topic kwam ik tot de conclusie dat redundancy helemaal niet zo interessant is voor mij, dus dat ik prima van de 2x2,5" sata + m.2 nvme een servertje kan bouwen, en mijn oude server in te zetten als backup server. Ik wil 1 2.5" slot gebruiken om van een ssd te booten, de nvme voor de "hot" data en nog een 2.5" hdd voor de 'cold' data (of misschien zelfs ook een ssd, daar ben ik nog niet helemaal uit).

Volgens de gegevens zou het apparaatje 2.5W in long idle moeten doen als gebruik gemaakt wordt van een m.2 ssd. Ik zie echter iets anders, als ik proxmox 8.0.2 (kernel 6.2.16-19-pve) boot van een sata ssd is het verbruik inderdaad 2-3W (gemeten met tp-link tapo p110) maar als ik daar een m.2 ssd aan toevoeg (1TB WD Black SN770) springt het verbruik naar 4-5W en wil de package C-state niet meer uit c3. ASPM forceren d.m.v. de kernel regel lost dit niet op. Dit vind ik apart aangezien de white paper van fujitsu suggereert dat met een m.2 nvme het verbruik 2.5W kan zijn, en dat moet betekenen dat ASPM zou moeten werken met een m.2 nvme.

In de BIOS is geen optie voor ASPM. Ik heb alleen de serial com poort en de audio uitgeschakeld.
Powertop idle stats:

code:

           Pkg(HW)  |            Core(HW) |            CPU(OS) 0   CPU(OS) 2
                    |                     | C0 active   0.1%        0.1%
                    |                     | POLL        0.0%    0.0 ms  0.0%    0.0 ms
                    |                     | C1          0.7%    0.5 ms  0.0%    0.0 ms
C2 (pc2)    0.6%    |                     | C1E         0.2%    0.1 ms  0.0%    0.0 ms
C3 (pc3)   98.0%    | C3 (cc3)    0.0%    | C3          0.0%    0.0 ms  0.0%    0.0 ms
C6 (pc6)    0.0%    | C6 (cc6)    0.1%    | C6          0.2%    0.2 ms  0.0%    0.0 ms
C7 (pc7)    0.0%    | C7 (cc7)   98.8%    | C7s         0.0%    0.0 ms  0.0%    0.0 ms
C8 (pc8)    0.0%    |                     | C8         98.7%   40.0 ms 99.8%   38.9 ms
C9 (pc9)    0.0%    |                     |
C10 (pc10)  0.0%    |                     |

                    |            Core(HW) |            CPU(OS) 1   CPU(OS) 3
                    |                     | C0 active   0.3%        0.1%
                    |                     | POLL        0.0%    0.0 ms  0.0%    0.0 ms
                    |                     | C1          0.6%    0.7 ms  0.0%    0.0 ms
                    |                     | C1E         0.0%    0.0 ms  0.0%    0.1 ms
                    | C3 (cc3)    0.0%    | C3          0.0%    0.0 ms  0.0%    0.0 ms
                    | C6 (cc6)    0.1%    | C6          0.2%    0.5 ms  0.2%    0.3 ms
                    | C7 (cc7)   98.6%    | C7s         0.0%    0.0 ms  0.0%    0.0 ms
                    |                     | C8         98.4%   49.9 ms 99.8%   67.5 ms
                    |                     |
                    |                     |

                    |             GPU     |
                    |                     |
                    | Powered On  0.0%    |
                    | RC6       100.0%    |
                    | RC6p        0.0%    |
                    | RC6pp       0.0%    |
                    |                     |
                    |                     |
                    |                     |
                    |                     |
                    |                     |

Powertop device stats:

code:

              Usage     Device name
              2.6%        CPU core
              2.6%        DRAM
              2.6%        CPU misc
            100.0%        PCI Device: Realtek Semiconductor Co., Ltd. RTL8111/8168/8411 PCI Express Gigabit Ethernet Controller
            100.0%        PCI Device: Intel Corporation 100 Series/C230 Series Chipset Family PCI Express Root Port #7
            100.0%        PCI Device: Intel Corporation Xeon E3-1200 v5/E3-1500 v5/6th Gen Core Processor Host Bridge/DRAM Registers
            100.0%        PCI Device: Intel Corporation 100 Series/C230 Series Chipset Family PCI Express Root Port #8
            100.0%        PCI Device: Intel Corporation Wireless 8260
            100.0%        PCI Device: Intel Corporation 100 Series/C230 Series Chipset Family PCI Express Root Port #9
            100.0%        PCI Device: Intel Corporation Q170/Q150/B150/H170/H110/Z170/CM236 Chipset SATA Controller [AHCI Mode]
            100.0%        PCI Device: Sandisk Corp WD Black SN770 NVMe SSD
            100.0%        Radio device: iwlwifi
            100.0%        PCI Device: Intel Corporation 100 Series/C230 Series Chipset Family Thermal Subsystem
            100.0%        Radio device: btusb
             59.5%        PCI Device: Intel Corporation HD Graphics 530
              3.0 pkts/s  Network interface: enp1s0 (r8169)
              3.0 pkts/s  nic:vmbr0
              0.0%        PCI Device: Intel Corporation 100 Series/C230 Series Chipset Family SMBus
              0.0%        runtime-intel_rapl_msr.0
              0.0%        runtime-Fixed MDIO bus.0
              0.0%        PCI Device: Intel Corporation 100 Series/C230 Series Chipset Family USB 3.0 xHCI Controller
              0.0%        PCI Device: Intel Corporation 100 Series/C230 Series Chipset Family MEI Controller #1
              0.0%        PCI Device: Intel Corporation H110 Chipset LPC/eSPI Controller
              0.0%        PCI Device: Intel Corporation 100 Series/C230 Series Chipset Family Power Management Controller
              0.0 pkts/s  Network interface: wlp2s0 (iwlwifi)
              0.0 pkts/s  nic:bonding_masters
              0.0%        USB device: xHCI Host Controller
              0.0%        USB device: usb-device-8087-0a2b
              0.0%        runtime-MSFT0101:00
              0.0%        I2C Adapter (i2c-5): AUX B/DDI E/PHY E
              0.0%        runtime-ACPI000C:00
              0.0%        runtime-alarmtimer.0.auto
              0.0%        runtime-reg-dummy
              0.0%        runtime-iTCO_wdt
              0.0%        runtime-kgdboc
              0.0%        runtime-fujitsu-laptop
              0.0%        runtime-eisa.0
              0.0%        runtime-microcode
              0.0%        I2C Device (0-0036): dummy
              0.0%        runtime-INT0800:00
              0.0%        I2C Adapter (i2c-0): SMBus I801 adapter at f040
              0.0%        runtime-intel_pmc_core.0
              0.0%        runtime-FUJ02E3:00
              0.0%        runtime-coretemp.0
              0.0%        runtime-regulatory.0
              0.0%        runtime-PNP0C0E:00
              0.0%        runtime-PNP0C04:00
              0.0%        runtime-FUJ0420:00
              0.0%        runtime-PNP0103:00

En output van

code:

lspci -vv | awk '/ASPM.*?abled/{print $0}' RS= | grep --color -P '(^[a-z0-9:.]+|ASPM.*?abled)'

:

code:

00:1c.0 PCI bridge: Intel Corporation 100 Series/C230 Series Chipset Family PCI Express Root Port #7 (rev f1) (prog-if 00 [Normal decode])
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
00:1c.7 PCI bridge: Intel Corporation 100 Series/C230 Series Chipset Family PCI Express Root Port #8 (rev f1) (prog-if 00 [Normal decode])
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
pcilib: sysfs_read_vpd: read failed: No such device
00:1d.0 PCI bridge: Intel Corporation 100 Series/C230 Series Chipset Family PCI Express Root Port #9 (rev f1) (prog-if 00 [Normal decode])
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
01:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8111/8168/8411 PCI Express Gigabit Ethernet Controller (rev 0c)
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
02:00.0 Network controller: Intel Corporation Wireless 8260 (rev 3a)
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
03:00.0 Non-Volatile memory controller: Sandisk Corp WD Black SN770 NVMe SSD (rev 01) (prog-if 02 [NVM Express])
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+

Er gaat dus iets met de ASPM mis, mijn kennis is alleen nog niet toereikend om een oplossing te vinden. @Mich, aangezien jij een vergelijkbaar systeem hebt, kan jij me op weg helpen?

Er was nog 1 ding wat ik nog niet geprobeerd had, ASPM enablen m.b.v. het - in dit topic - veelbesproken script. De output van

code:

lspci -vv | awk '/ASPM.*?abled/{print $0}' RS= | grep --color -P '(^[a-z0-9:.]+|ASPM.*?abled)'

voor het runnen van het script:

code:

00:1c.0 PCI bridge: Intel Corporation 100 Series/C230 Series Chipset Family PCI Express Root Port #7 (rev f1) (prog-if 00 [Normal decode])
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
pcilib: sysfs_read_vpd: read failed: No such device
00:1d.0 PCI bridge: Intel Corporation 100 Series/C230 Series Chipset Family PCI Express Root Port #9 (rev f1) (prog-if 00 [Normal decode])
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
01:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8111/8168/8411 PCI Express Gigabit Ethernet Controller (rev 0c)
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
02:00.0 Non-Volatile memory controller: Sandisk Corp WD Black SN770 NVMe SSD (rev 01) (prog-if 02 [NVM Express])
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+

En na het runnen van het script:

code:

00:1c.0 PCI bridge: Intel Corporation 100 Series/C230 Series Chipset Family PCI Express Root Port #7 (rev f1) (prog-if 00 [Normal decode])
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
pcilib: sysfs_read_vpd: read failed: No such device
00:1d.0 PCI bridge: Intel Corporation 100 Series/C230 Series Chipset Family PCI Express Root Port #9 (rev f1) (prog-if 00 [Normal decode])
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
01:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8111/8168/8411 PCI Express Gigabit Ethernet Controller (rev 0c)
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
02:00.0 Non-Volatile memory controller: Sandisk Corp WD Black SN770 NVMe SSD (rev 01) (prog-if 02 [NVM Express])
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+

Hoppa! Alles enabled . Idle verbruik is nu 2W, alhoewel alles nog niet eens in de laagste package c-state blijft, op dit moment blijft hij hangen in pc7 maar ik vind het wel prima zo.

Wat ik nog niet helemaal begrijp is waarom deze PCI devices op 100% staan in de device stats tab van powertop:

code:

              Usage     Device name
              1.5%        CPU core
              1.5%        DRAM
              1.5%        CPU misc
            100.0%        PCI Device: Intel Corporation 100 Series/C230 Series Chipset Family PCI Express Root Port #9
            100.0%        PCI Device: Intel Corporation 100 Series/C230 Series Chipset Family Thermal Subsystem
            100.0%        PCI Device: Intel Corporation Xeon E3-1200 v5/E3-1500 v5/6th Gen Core Processor Host Bridge/DRAM Registers
            100.0%        PCI Device: Realtek Semiconductor Co., Ltd. RTL8111/8168/8411 PCI Express Gigabit Ethernet Controller
            100.0%        PCI Device: Sandisk Corp WD Black SN770 NVMe SSD
            100.0%        PCI Device: Intel Corporation 100 Series/C230 Series Chipset Family PCI Express Root Port #7
            100.0%        PCI Device: Intel Corporation Q170/Q150/B150/H170/H110/Z170/CM236 Chipset SATA Controller [AHCI Mode]
             57.8%        PCI Device: Intel Corporation HD Graphics 530
              9.2 pkts/s  Network interface: enp1s0 (r8169)
              9.1 pkts/s  nic:vmbr0
              0.0%        PCI Device: Intel Corporation 100 Series/C230 Series Chipset Family SMBus
              0.0%        runtime-intel_rapl_msr.0
              0.0%        runtime-alarmtimer.0.auto
              0.0%        runtime-PNP0C0C:00
              0.0%        USB device: xHCI Host Controller
              0.0%        USB device: xHCI Host Controller
              0.0 pkts/s  nic:bonding_masters
              0.0%        PCI Device: Intel Corporation 100 Series/C230 Series Chipset Family Power Management Controller
              0.0%        PCI Device: Intel Corporation H110 Chipset LPC/eSPI Controller
              0.0%        PCI Device: Intel Corporation 100 Series/C230 Series Chipset Family MEI Controller #1
              0.0%        PCI Device: Intel Corporation 100 Series/C230 Series Chipset Family USB 3.0 xHCI Controller

Iemand die mij uit kan liggen hoe dat zit?

[Mars Warrior]

delanget schreef op dinsdag 21 november 2023 @ 12:52:
[...]


Er was nog 1 ding wat ik nog niet geprobeerd had, ASPM enablen m.b.v. het - in dit topic - veelbesproken script. De output van

code:

lspci -vv | awk '/ASPM.*?abled/{print $0}' RS= | grep --color -P '(^[a-z0-9:.]+|ASPM.*?abled)'

voor het runnen van het script:

code:

00:1c.0 PCI bridge: Intel Corporation 100 Series/C230 Series Chipset Family PCI Express Root Port #7 (rev f1) (prog-if 00 [Normal decode])
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
pcilib: sysfs_read_vpd: read failed: No such device
00:1d.0 PCI bridge: Intel Corporation 100 Series/C230 Series Chipset Family PCI Express Root Port #9 (rev f1) (prog-if 00 [Normal decode])
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
01:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8111/8168/8411 PCI Express Gigabit Ethernet Controller (rev 0c)
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
02:00.0 Non-Volatile memory controller: Sandisk Corp WD Black SN770 NVMe SSD (rev 01) (prog-if 02 [NVM Express])
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+

En na het runnen van het script:

code:

00:1c.0 PCI bridge: Intel Corporation 100 Series/C230 Series Chipset Family PCI Express Root Port #7 (rev f1) (prog-if 00 [Normal decode])
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
pcilib: sysfs_read_vpd: read failed: No such device
00:1d.0 PCI bridge: Intel Corporation 100 Series/C230 Series Chipset Family PCI Express Root Port #9 (rev f1) (prog-if 00 [Normal decode])
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
01:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8111/8168/8411 PCI Express Gigabit Ethernet Controller (rev 0c)
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
02:00.0 Non-Volatile memory controller: Sandisk Corp WD Black SN770 NVMe SSD (rev 01) (prog-if 02 [NVM Express])
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+

Hoppa! Alles enabled . Idle verbruik is nu 2W, alhoewel alles nog niet eens in de laagste package c-state blijft, op dit moment blijft hij hangen in pc7 maar ik vind het wel prima zo.

Wat ik nog niet helemaal begrijp is waarom deze PCI devices op 100% staan in de device stats tab van powertop:

code:

              Usage     Device name
              1.5%        CPU core
              1.5%        DRAM
              1.5%        CPU misc
            100.0%        PCI Device: Intel Corporation 100 Series/C230 Series Chipset Family PCI Express Root Port #9
            100.0%        PCI Device: Intel Corporation 100 Series/C230 Series Chipset Family Thermal Subsystem
            100.0%        PCI Device: Intel Corporation Xeon E3-1200 v5/E3-1500 v5/6th Gen Core Processor Host Bridge/DRAM Registers
            100.0%        PCI Device: Realtek Semiconductor Co., Ltd. RTL8111/8168/8411 PCI Express Gigabit Ethernet Controller
            100.0%        PCI Device: Sandisk Corp WD Black SN770 NVMe SSD
            100.0%        PCI Device: Intel Corporation 100 Series/C230 Series Chipset Family PCI Express Root Port #7
            100.0%        PCI Device: Intel Corporation Q170/Q150/B150/H170/H110/Z170/CM236 Chipset SATA Controller [AHCI Mode]
             57.8%        PCI Device: Intel Corporation HD Graphics 530
              9.2 pkts/s  Network interface: enp1s0 (r8169)
              9.1 pkts/s  nic:vmbr0
              0.0%        PCI Device: Intel Corporation 100 Series/C230 Series Chipset Family SMBus
              0.0%        runtime-intel_rapl_msr.0
              0.0%        runtime-alarmtimer.0.auto
              0.0%        runtime-PNP0C0C:00
              0.0%        USB device: xHCI Host Controller
              0.0%        USB device: xHCI Host Controller
              0.0 pkts/s  nic:bonding_masters
              0.0%        PCI Device: Intel Corporation 100 Series/C230 Series Chipset Family Power Management Controller
              0.0%        PCI Device: Intel Corporation H110 Chipset LPC/eSPI Controller
              0.0%        PCI Device: Intel Corporation 100 Series/C230 Series Chipset Family MEI Controller #1
              0.0%        PCI Device: Intel Corporation 100 Series/C230 Series Chipset Family USB 3.0 xHCI Controller

Iemand die mij uit kan liggen hoe dat zit?

Mooi resultaat. Mijn Fujitsu Esprimo Q520 deed ca 3W idle. Heb destijds niet naar ASPM settings gekeken.

Wat wel opvallend was aan die Q520 is dat het verbruik snel toenam bij belasting: ik zat ondanks een idle verbruik van 3W toch aan gemiddeld 14W bij belasting, dus 11W meer.

Mijn nieuwe server doet dat een stuk beter. Daar is het verschil maar 2-3W.

Ben benieuwd of dat bij de modernere Q556 ook zo is.

[renedis]

Mars Warrior schreef op dinsdag 21 november 2023 @ 13:46:
[...]

Mooi resultaat. Mijn Fujitsu Esprimo Q520 deed ca 3W idle. Heb destijds niet naar ASPM settings gekeken.

Wat wel opvallend was aan die Q520 is dat het verbruik snel toenam bij belasting: ik zat ondanks een idle verbruik van 3W toch aan gemiddeld 14W bij belasting, dus 11W meer.

Mijn nieuwe server doet dat een stuk beter. Daar is het verschil maar 2-3W.

Ben benieuwd of dat bij de modernere Q556 ook zo is.

Q556 is nu niet echt modern meer te noemen. Ik heb een mini-stx welke volgens mij ook in de Q558 zit.

Deze doet laagst gemeten 1.54w op een kaal OS met powertop en 3.42w met 16 actieve dockers.

[dcm360]

eheijnen schreef op dinsdag 21 november 2023 @ 11:56:
@dcm360
Was dat met dat Biostar bord...?

Dit was inderdaad met het Biostar-bord.

Maar, ik ben even aan het spelen geweest met het ASPM-script, en dat lijkt wel effect te hebben. Waar ik eerst idle zat rond 26W (gemeten met een Z-wave stekker, en een wat afwijkende setup van mijn eerdere test, kernel is 6.2.16-19-pve met een lichte load), is het verbruik gedaald naar rond de 22W.

[eheijnen]

audiojunk schreef op dinsdag 21 november 2023 @ 12:00:
Met een ASUS ROG Strix B550-I Gaming en een Pico PSU kan je 5W halen.

https://www.computerbase....kuenstler.1967755/page-17

Schade....ausverkauft....

[eheijnen]

dcm360 schreef op dinsdag 21 november 2023 @ 14:35:
[...]

Dit was inderdaad met het Biostar-bord.

Maar, ik ben even aan het spelen geweest met het ASPM-script, en dat lijkt wel effect te hebben. Waar ik eerst idle zat rond 26W (gemeten met een Z-wave stekker, en een wat afwijkende setup van mijn eerdere test, kernel is 6.2.16-19-pve met een lichte load), is het verbruik gedaald naar rond de 22W.

Ik ben in het geheel niet ontevreden met die 14 watt idle in Windows 11.
De i7 3770S die ik nu nog gebruik zit rond de 25 watt idle en die piekt ook wat steviger dan die 5600G. Daar ga ik flink op vooruit in algeheel verbruik. Als ik al een ander bord neem moet ik zeker onder 10 watt kunnen komen anders loont het niet echt. Met 5 watt minder praat je over ca. 45 KW P/J ca. 15 euro bij always on.

Wie weet komen ze bij MSI nog eens met een ASPM bios update die wel werkt. In ieder geval ontbreekt het aan een duidelijke lijn onder de mainstream borden die dat consistent ondersteunen en als selling-point inzetten.

[ComputerHoed]

Ik heb nu al meer dan een jaar m'n zelfbouw Unraid NAS draaien en verbruik gemiddeld 35w met een Ryzen 5 2600 i.c.m. 6 HDD's.

En dat terwijl er ruim 10 man toegang hebben tot mijn serrver.

[Geraard]

*knip* offtopic

[ Voor 91% gewijzigd door br00ky op 21-11-2023 16:15 ]

[Goof2000]

ComputerHoed schreef op dinsdag 21 november 2023 @ 15:51:
Ik heb nu al meer dan een jaar m'n zelfbouw Unraid NAS draaien en verbruik gemiddeld 35w met een Ryzen 5 2600 i.c.m. 6 HDD's.

En dat terwijl er ruim 10 man toegang hebben tot mijn serrver.

Wil je nog iets vertellen over je moederbord, welke hdd's en settings je hebt gebruikt? Misschien interessant voor degene met vergelijkbare spec's zodat we kunnen benchmarken of het beter kan.

[delanget]

Mars Warrior schreef op dinsdag 21 november 2023 @ 13:46:
[...]

Mooi resultaat. Mijn Fujitsu Esprimo Q520 deed ca 3W idle. Heb destijds niet naar ASPM settings gekeken.

Wat wel opvallend was aan die Q520 is dat het verbruik snel toenam bij belasting: ik zat ondanks een idle verbruik van 3W toch aan gemiddeld 14W bij belasting, dus 11W meer.

Mijn nieuwe server doet dat een stuk beter. Daar is het verschil maar 2-3W.

Ben benieuwd of dat bij de modernere Q556 ook zo is.

Interessant! Ik ben de komende tijd nog zoet met het inrichten van de server maar ik zal het in de gaten houden

[Mars Warrior]

delanget schreef op dinsdag 21 november 2023 @ 17:39:
[...]
Interessant! Ik ben de komende tijd nog zoet met het inrichten van de server maar ik zal het in de gaten houden

Ik vermoed dat het een CPU efficiëntie dingetje is. De Q520 heeft een 3gen CPU, die Q556 een 7gen als ik het goed heb. Dat kan zomaar het verschil betekenen onder load.

En dan heb ik het nog niet over de duidelijk hoorbare fan bij iets hogere load

[ Voor 9% gewijzigd door Mars Warrior op 21-11-2023 18:25 ]

[andru123]

delanget schreef op dinsdag 21 november 2023 @ 12:52:
Hoppa! Alles enabled . Idle verbruik is nu 2W

Wat was het verbruik voor de script?
Graag tot de gepinnde post toevoegen, welke systeem, hoe gemeten, voeding.

[ Voor 3% gewijzigd door andru123 op 21-11-2023 19:44 ]

[delanget]

andru123 schreef op dinsdag 21 november 2023 @ 19:44:
[...]
Wat was het verbruik voor de script?
Graag tot de gepinnde post toevoegen, welke systeem, hoe gemeten, voeding.

Ik ben vrij nieuw hier, hoe voeg ik dat toe aan "de" gepinnde post?
Voor het runnen van het script was het verbruik 4-5W doordat de package c-state in pc3 bleef hangen.

#	Category	Product	Prijs	Subtotaal
1	Pc's	Fujitsu Esprimo Q556/2 P382DE	€ 0,-	€ 0,-
1	Processors	Intel Core i3-6100T Tray	€ 0,-	€ 0,-
1	Solid state drives	Sandisk X600 2,5" 128GB	€ 0,-	€ 0,-
1	Solid state drives	WD Black SN770 1TB	€ 61,50	€ 61,50
Bekijk collectie Importeer producten			Totaal	€ 61,50

Het pc'tje heeft een 65W interne voeding. Na het runnen van het ASPM script zit ik op 2W idle.
Gemeten met TP link Tapo P110 (die helaas afrondt op hele getallen en niet achter de komma).

[ Voor 55% gewijzigd door delanget op 22-11-2023 10:56 ]

[27000k]

Hallo, ik spreek geen Nederlands en gebruik alleen een automatische vertaler. Ik hoop dat je nog steeds begrijpt wat ik schrijf.

renedis schreef op donderdag 9 november 2023 @ 09:22:

Na de documentatie nog eens uit te lezen zag ik een verwijzing naar een website voor "enable_aspm". Alleen die website werkt niet meer. Via WayBack Machine heb ik het script alsnog kunnen vinden.

Heb je dit script echt nodig?

code:

sudo sh -c "echo 1 > /sys/bus/pci/devices/0000:04:00.0/link/l1_aspm"

Ik heb ASPM geactiveerd voor de Realtek NIC met dit commando.

Dan bereik ik C8 en soms zelfs C10.
Ik gebruik TrueNAS Scale.

Het grappige is dat met Unraid of de huidige beta van Fedora, ASPM out-of-the-box is ingeschakeld voor de NIC. Maar niet met de huidige Ubuntu of TrueNAS Scale.

Helaas lijkt het bovenstaande commando, dat ik gebruik om ASPM te forceren, het systeem instabiel te maken. Het systeem start soms gewoon opnieuw op.

bequiet pure power 12 m
B760M Gaming X DDR4
Intel Core i3-12100
970 EVO Plus
980 Pro
Crucial DIMM 32GB, DDR4-3200, CL22-22-22
Seagate Exos X16
TOSHIBA MG07ACA12TE

[ Voor 3% gewijzigd door 27000k op 21-11-2023 21:02 ]

[bakvis]

HotSpot79 schreef op maandag 20 november 2023 @ 21:02:
[...]


Beste is om dit toch eens te gaan meten. Ik heb een soortgelijke setup (zelfde CPU) draaien als backup server en idle doet deze setup ~7W, met de schijven (3x 10TB HDD) in slaap. Dus heel onzuinig is deze setup ook weer niet. Ik was namelijk aangenaam verrast. Ik draai debian bullseye met powertop uiteraard in een headless setup.

Zojuist de meter aangesloten, idle verbruik is ongeveer 42-44 watt, minder slecht dan verwacht (2x 3.5" hdd draaiend. 1 is gesneuveld recentelijk).

Als ik dit terug kan brengen naar 15-20 watt scheelt dat toch 175 Kw per jaar, zo'n 40 euro. We betalen gelukkig nog 0,24 per kWh op dit moment.

[HotSpot79]

bakvis schreef op dinsdag 21 november 2023 @ 20:36:
[...]


Zojuist de meter aangesloten, idle verbruik is ongeveer 42-44 watt, minder slecht dan verwacht (2x 3.5" hdd draaiend. 1 is gesneuveld recentelijk).

Als ik dit terug kan brengen naar 15-20 watt scheelt dat toch 175 Kw per jaar, zo'n 40 euro. We betalen gelukkig nog 0,24 per kWh op dit moment.

Ok. Daarvan is ~15W voor de hdd's. En je kan eens in de bios kijken of er nog wat optimalisaties door te voeren zijn. Ik denk dat je dit toch echt wel naar 15W idle terug moet krijgen. Of indien het moederbord het toe staat wel tot 7W net zoals mij.

[andru123]

@bakvis @delanget @27000k het is echt makkelijk om een inventaris toe te voegen.
Ga naar je profiel, click op Inventaris en dan een nieuw inventaris maken. Duurt ongeweer 15 seconden.
Dan, als je klaar bent, druk op Genereer RML knop onder de inventaris en kopieer dat naar je post (wijzig de post) Dan heb je nette lijst met onderdelen dat iedereen kan makkelijk lezen en vergelijken.
Er zijn gepinnde posts in dit topic. (Er is een Pin knoop biven) Gepinnde posts bevaten: inventaris, hoeveel Watts, hoe gemeten, opmerkingen en afbeeldingen.

[FireDrunk]

27000k schreef op dinsdag 21 november 2023 @ 20:22:
Hallo, ik spreek geen Nederlands en gebruik alleen een automatische vertaler. Ik hoop dat je nog steeds begrijpt wat ik schrijf.


[...]


Heb je dit script echt nodig?

code:

sudo sh -c "echo 1 > /sys/bus/pci/devices/0000:04:00.0/link/l1_aspm"

Ik heb ASPM geactiveerd voor de Realtek NIC met dit commando.

Dan bereik ik C8 en soms zelfs C10.
Ik gebruik TrueNAS Scale.

Het grappige is dat met Unraid of de huidige beta van Fedora, ASPM out-of-the-box is ingeschakeld voor de NIC. Maar niet met de huidige Ubuntu of TrueNAS Scale.

Helaas lijkt het bovenstaande commando, dat ik gebruik om ASPM te forceren, het systeem instabiel te maken. Het systeem start soms gewoon opnieuw op.

bequiet pure power 12 m
B760M Gaming X DDR4
Intel Core i3-12100
970 EVO Plus
980 Pro
Crucial DIMM 32GB, DDR4-3200, CL22-22-22
Seagate Exos X16
TOSHIBA MG07ACA12TE

Die instabiliteit kan ik bevestigen, er is (helaas) een goede reden dat niet alle Realtek netwerkkaarten ASPM accepteren.

Ik lees ook in de code (commentaar) dat er soms behoorlijk conservatief omgegaan wordt met ASPM omdat 'noisy neighbours' best een issue is op PCIe blijkbaar.

Hoe dat werkt weet ik niet zo goed, want naar mijn idee is PCIe een point2point verbinding met je CPU.
Maar blijkbaar doet zo'n 'root complex' meer dan ik dacht als het gaat om switching tussen meerdere PCIe kaarten.

[eheijnen]

@FireDrunk
Ben geen specialist maar misschien is dit nog interessant / verhelderend:
Wikipedia: PCI Express

[FireDrunk]

eheijnen schreef op woensdag 22 november 2023 @ 08:43:
@FireDrunk
Ben geen specialist maar misschien is dit nog interessant / verhelderend:
Wikipedia: PCI Express

Daar staat bar weinig in over de "Root Complex". De dedicated "Root Complex" pagina is ook niet heel veel zeggend.
Ik heb nog wat Intel whitepapers na zitten kijken (scannen, ik heb ook weer niet alle tijd van de wereld ), en daar staat vooral dat de Root Complex een aantal 'beheerstabellen' bevat over al je PCIe devices.
Dingen als BAR management gebeuren ook daar volgens mij.

[delanget]

@andru123 Dank vooor je uitleg, ik heb mijn bericht aangepast.

[27000k]

FireDrunk schreef op woensdag 22 november 2023 @ 07:46:
[...]

Die instabiliteit kan ik bevestigen, er is (helaas) een goede reden dat niet alle Realtek netwerkkaarten ASPM accepteren.

Ik lees ook in de code (commentaar) dat er soms behoorlijk conservatief omgegaan wordt met ASPM omdat 'noisy neighbours' best een issue is op PCIe blijkbaar.

Hoe dat werkt weet ik niet zo goed, want naar mijn idee is PCIe een point2point verbinding met je CPU.
Maar blijkbaar doet zo'n 'root complex' meer dan ik dacht als het gaat om switching tussen meerdere PCIe kaarten.

a) Het grappige is dat ASPM is ingeschakeld wanneer ik dezelfde hardware opstart met Unraid of de beta van Fedora. Daar hoef ik niets voor te doen. Anderen hebben ook opgemerkt dat dit varieert afhankelijk van het besturingssysteem. Ook met Debian en de huidige Ubuntu versie is ASPM niet ingeschakeld.

b) Maakt het verschil of je het script gebruikt dat in de thread wordt genoemd of het commando dat ik gebruikte om het in te schakelen? Het commando is eenvoudiger.

code:

$ sudo lspci -vv | awk '/ASPM/{print $0}' RS= | grep --color -P '(^[a-z0-9:.]+|ASPM )'                    

00:06.0 PCI bridge: Intel Corporation 12th Gen Core Processor PCI Express x4 Controller #0 (rev 05) (prog-if 00 [Normal decode])
                LnkCap: Port #5, Speed 16GT/s, Width x4, ASPM L1, Exit Latency L1 <16us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
00:1a.0 PCI bridge: Intel Corporation Device 7a48 (rev 11) (prog-if 00 [Normal decode])
                LnkCap: Port #25, Speed 16GT/s, Width x4, ASPM L1, Exit Latency L1 <64us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
00:1c.0 PCI bridge: Intel Corporation Device 7a38 (rev 11) (prog-if 00 [Normal decode])
                LnkCap: Port #1, Speed 8GT/s, Width x1, ASPM L0s L1, Exit Latency L0s <1us, L1 <4us
                LnkCtl: ASPM L0s L1 Enabled; RCB 64 bytes, Disabled- CommClk-
00:1c.2 PCI bridge: Intel Corporation Device 7a3a (rev 11) (prog-if 00 [Normal decode])
                LnkCap: Port #3, Speed 8GT/s, Width x1, ASPM L1, Exit Latency L1 <64us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
01:00.0 Non-Volatile memory controller: Samsung Electronics Co Ltd NVMe SSD Controller SM981/PM981/PM983 (prog-if 02 [NVM Express])
pcilib: sysfs_read_vpd: read failed: No such device
                LnkCap: Port #0, Speed 8GT/s, Width x4, ASPM L1, Exit Latency L1 <64us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
02:00.0 Non-Volatile memory controller: Samsung Electronics Co Ltd NVMe SSD Controller PM9A1/PM9A3/980PRO (prog-if 02 [NVM Express])
                LnkCap: Port #0, Speed 16GT/s, Width x4, ASPM L1, Exit Latency L1 <64us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
04:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8125 2.5GbE Controller (rev 05)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L0s L1, Exit Latency L0s unlimited, L1 <64us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+

Je kunt de gehandicapten zien.
ASPM wordt geactiveerd door het volgende commando in te stellen.
Het stroomverbruik is lager (ongeveer 6 watt).

code:

sudo sh -c "echo 1 > /sys/bus/pci/devices/0000:04:00.0/link/l1_aspm"

Helaas heb ik gemerkt dat het systeem van tijd tot tijd opnieuw opstart. Het lijkt te komen door de activering van ASPM.

Met ASPM geactiveerd verbruikt de computer ongeveer 17 tot 18 watt onder TrueNAS Scale met twee harde schijven aan. Ik denk dat dat een goede waarde is. Zonder de harde schijven is het ongeveer 10 watt minder.

3) Ik heb een Kontron K3842-Q2 besteld met Crucial DIMM 32 Gbyte, DDR5-4800, CL40-39-39, on-die ECC.

4) Ik hoop dat je mijn bericht begrijpt. Ik heb de vertaalmachine gebruikt omdat ik geen Nederlands spreek.

[puUL]

Hier een update van mijn zoektocht naar mijn systeem zuiniger maken.

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Core i3-12100 Boxed	€ 127,-	€ 127,-
1	Moederborden	Gigabyte B760M DS3H DDR4	€ 106,46	€ 106,46
1	Behuizingen	Inter-Tech IM-1 Pocket	€ 66,39	€ 66,39
1	Geheugen intern	G.Skill Ripjaws V F4-3200C16D-64GVK	€ 157,20	€ 157,20
1	Voedingen	Mini-box PicoPSU-90 + 84W (Fortron) Adapter Power Kit	€ 78,35	€ 78,35
1	Solid state drives	Samsung 860 EVO 500GB	€ 68,87	€ 68,87
			Totaal	€ 604,27

Uiteindelijk wil ik de ssd's vervangen door onderstaanden, maar op aanraden van medetweakers heb ik nu tests gedaan met enkel deze 860 evo sata ssd als bootdrive.

#	Category	Product	Prijs	Subtotaal
4	Solid state drives	Samsung 870 QVO 4TB	€ 160,99	€ 643,96
1	Solid state drives	Samsung 980 1TB	€ 55,04	€ 55,04
			Totaal	€ 699,-

Op dit moment geraak ik met deze setup in Truenas Scale niet onder de 10 watt in idle. Ik blijf problemen hebben met de realtek netwerk adaptor, waar ik ASPM niet op enabled krijg. Ook deze "PCI bridge: Intel Corporation Device 7a3a" blijft op disabled hangen. pcie_aspm=force is toegevoegd aan de boot parameters en dit is ook na het uitvoeren van powertop --auto-tune.

Output van

lspci -vv | awk '/ASPM.*?abled/{print $0}' RS= | grep --color -P '(^[a-z0-9:.]+|ASPM.*?abled)'

code:

00:1c.0 PCI bridge: Intel Corporation Device 7a38 (rev 11) (prog-if 00 [Normal decode])
                LnkCtl: ASPM L0s L1 Enabled; RCB 64 bytes, Disabled- CommClk-
00:1c.2 PCI bridge: Intel Corporation Device 7a3a (rev 11) (prog-if 00 [Normal decode])
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
pcilib: sysfs_read_vpd: read failed: No such device
02:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8125 2.5GbE Controller (rev 05)
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+

Powertop output

code:

           Pkg(HW)  |            Core(HW) |            CPU(OS) 0   CPU(OS) 1
                    |                     | C0 active   0.0%        0.0%
                    |                     | POLL        0.0%    0.0 ms  0.0%    0.0 ms
                    |                     | C1E         3.0%    1.0 ms  0.0%    0.2 ms
C2 (pc2)    1.8%    |                     |
C3 (pc3)   92.8%    | C3 (cc3)    0.0%    |
C6 (pc6)    0.0%    | C6 (cc6)    0.1%    | C6          0.0%    0.0 ms  0.1%    0.4 ms
C7 (pc7)    0.0%    | C7 (cc7)   96.1%    |
C8 (pc8)    0.0%    |                     | C8          0.0%    0.0 ms  0.0%    0.0 ms
C9 (pc9)    0.0%    |                     |
C10 (pc10)  0.0%    |                     |
                    |                     | C10        96.9%   28.0 ms 99.7%   36.0 ms

                    |            Core(HW) |            CPU(OS) 2   CPU(OS) 3
                    |                     | C0 active   0.1%        0.0%
                    |                     | POLL        0.0%    0.0 ms  0.0%    0.0 ms
                    |                     | C1E         0.7%    0.5 ms  0.1%    0.3 ms
                    |                     |
                    | C3 (cc3)    0.0%    |
                    | C6 (cc6)    0.0%    | C6          0.0%    0.1 ms  0.0%    0.1 ms
                    | C7 (cc7)   96.3%    |
                    |                     | C8          1.0%    1.1 ms  0.0%    0.2 ms
                    |                     |
                    |                     |
                    |                     | C10        98.0%   39.7 ms 99.7%   53.2 ms

                    |            Core(HW) |            CPU(OS) 4   CPU(OS) 5
                    |                     | C0 active   0.2%        0.2%
                    |                     | POLL        0.0%    0.0 ms  0.1%    0.1 ms
                    |                     | C1E         0.8%    0.4 ms  0.6%    0.8 ms
                    |                     |
                    | C3 (cc3)    0.0%    |
                    | C6 (cc6)    0.0%    | C6          0.0%    0.0 ms  0.0%    0.0 ms
                    | C7 (cc7)   97.8%    |
                    |                     | C8          1.5%    1.5 ms  0.9%    1.0 ms
                    |                     |
                    |                     |
                    |                     | C10        96.9%   51.7 ms 98.1%  142.1 ms

                    |            Core(HW) |            CPU(OS) 6   CPU(OS) 7
                    |                     | C0 active   0.0%        0.1%
                    |                     | POLL        0.0%    0.0 ms  0.0%    0.0 ms
                    |                     | C1E         0.6%    0.4 ms  0.0%    0.0 ms
                    |                     |
                    | C3 (cc3)    0.0%    |
                    | C6 (cc6)    0.0%    | C6          0.2%    0.7 ms  0.0%    0.0 ms
                    | C7 (cc7)   96.3%    |
                    |                     | C8          1.1%    2.3 ms  0.3%    1.3 ms
                    |                     |
                    |                     |
                    |                     | C10        98.1%   55.3 ms 99.5%   53.2 ms

                    |             GPU     |
                    |                     |
                    | Powered On  0.1%    |
                    | RC6        99.9%    |
                    | RC6p        0.0%    |
                    | RC6pp       0.0%    |
                    |                     |
                    |                     |
                    |                     |
                    |                     |
                    |                     |
                    |                     |

code:

              Usage     Device name
              0.8%        CPU misc
              0.8%        CPU core
            100.0%        PCI Device: Intel Corporation Device 7a3a
            100.0%        PCI Device: Intel Corporation Device 7a62
            100.0%        PCI Device: Intel Corporation Device 7a38
            100.0%        PCI Device: Realtek Semiconductor Co., Ltd. RTL8125 2.5GbE Controller
             59.5%        PCI Device: Intel Corporation Alder Lake-S GT1 [UHD Graphics 730]
              2.1 pkts/s  Network interface: enp2s0 (r8169)
              0.0%        PCI Device: Intel Corporation Device 7a4d
              0.0%        PCI Device: Intel Corporation Device 7a4e
              0.0%        PCI Device: Intel Corporation Device 7a68
              0.0%        PCI Device: Intel Corporation Device 7a27
              0.0%        PCI Device: Intel Corporation Device 7a7c
              0.0%        PCI Device: Intel Corporation Device 7a60
              0.0%        USB device: USB2.0 Hub
              0.0%        USB device: xHCI Host Controller
              0.0%        USB device: xHCI Host Controller

Bios settings: https://imgur.com/a/IHcfrJq

Als test heb ik ook eens een Debian 12 gedraaid. Hier had ik ongeveer hetzelfde resultaat: 10,5w idle.
Hier heb ik de network adapter in de bios eens gedisabled en toen ging het idle verbruik wel naar de 5w. Ik ben geen debian gebruiker, dus ik weet niet zeker of deze dan in een soort van slaapstand ging. (Ik heb de monitor, keyboard en muis uitgetrokken om idle verbruik te meten) Mijn uiteindelijke doel is wel om een Truenas te draaien, dus ik heb terug truenas geinstalleerd om verder te testen.

De volgende stap is om het enable-aspm script te proberen denk ik, maar ik moet toegeven dat dit wel een uitdaging is. Heeft er nog iemand andere suggesties?


UPDATE:

Ik gebruikte onderstaande commando om mijn ASPM op ethernet controller te forceren en het werkt.

sudo sh -c "echo 1 > /sys/bus/pci/devices/0000:02:00.0/link/l1_aspm"

Verbuik is nu gezakt naar 5,3 watt!
Ik hoor nu wel een zeer lichte ruis komende van het systeem, dit klinkt niet echt gezond

[FireDrunk]

puUL schreef op woensdag 22 november 2023 @ 11:45:
Hier een update van mijn zoektocht naar mijn systeem zuiniger maken.

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Core i3-12100 Boxed	€ 127,-	€ 127,-
1	Moederborden	Gigabyte B760M DS3H DDR4	€ 106,46	€ 106,46
1	Behuizingen	Inter-Tech IM-1 Pocket	€ 66,39	€ 66,39
1	Geheugen intern	G.Skill Ripjaws V F4-3200C16D-64GVK	€ 157,20	€ 157,20
1	Voedingen	Mini-box PicoPSU-90 + 84W (Fortron) Adapter Power Kit	€ 78,35	€ 78,35
1	Solid state drives	Samsung 860 EVO 500GB	€ 68,87	€ 68,87
			Totaal	€ 604,27

Uiteindelijk wil ik de ssd's vervangen door onderstaanden, maar op aanraden van medetweakers heb ik nu tests gedaan met enkel deze 860 evo sata ssd als bootdrive.

#	Category	Product	Prijs	Subtotaal
4	Solid state drives	Samsung 870 QVO 4TB	€ 160,99	€ 643,96
1	Solid state drives	Samsung 980 1TB	€ 55,04	€ 55,04
			Totaal	€ 699,-

Op dit moment geraak ik met deze setup in Truenas Scale niet onder de 10 watt in idle. Ik blijf problemen hebben met de realtek netwerk adaptor, waar ik ASPM niet op enabled krijg. Ook deze "PCI bridge: Intel Corporation Device 7a3a" blijft op disabled hangen. pcie_aspm=force is toegevoegd aan de boot parameters en dit is ook na het uitvoeren van powertop --auto-tune.

Output van

[...]

code:

00:1c.0 PCI bridge: Intel Corporation Device 7a38 (rev 11) (prog-if 00 [Normal decode])
                LnkCtl: ASPM L0s L1 Enabled; RCB 64 bytes, Disabled- CommClk-
00:1c.2 PCI bridge: Intel Corporation Device 7a3a (rev 11) (prog-if 00 [Normal decode])
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
pcilib: sysfs_read_vpd: read failed: No such device
02:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8125 2.5GbE Controller (rev 05)
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+

Powertop output

code:

           Pkg(HW)  |            Core(HW) |            CPU(OS) 0   CPU(OS) 1
                    |                     | C0 active   0.0%        0.0%
                    |                     | POLL        0.0%    0.0 ms  0.0%    0.0 ms
                    |                     | C1E         3.0%    1.0 ms  0.0%    0.2 ms
C2 (pc2)    1.8%    |                     |
C3 (pc3)   92.8%    | C3 (cc3)    0.0%    |
C6 (pc6)    0.0%    | C6 (cc6)    0.1%    | C6          0.0%    0.0 ms  0.1%    0.4 ms
C7 (pc7)    0.0%    | C7 (cc7)   96.1%    |
C8 (pc8)    0.0%    |                     | C8          0.0%    0.0 ms  0.0%    0.0 ms
C9 (pc9)    0.0%    |                     |
C10 (pc10)  0.0%    |                     |
                    |                     | C10        96.9%   28.0 ms 99.7%   36.0 ms

                    |            Core(HW) |            CPU(OS) 2   CPU(OS) 3
                    |                     | C0 active   0.1%        0.0%
                    |                     | POLL        0.0%    0.0 ms  0.0%    0.0 ms
                    |                     | C1E         0.7%    0.5 ms  0.1%    0.3 ms
                    |                     |
                    | C3 (cc3)    0.0%    |
                    | C6 (cc6)    0.0%    | C6          0.0%    0.1 ms  0.0%    0.1 ms
                    | C7 (cc7)   96.3%    |
                    |                     | C8          1.0%    1.1 ms  0.0%    0.2 ms
                    |                     |
                    |                     |
                    |                     | C10        98.0%   39.7 ms 99.7%   53.2 ms

                    |            Core(HW) |            CPU(OS) 4   CPU(OS) 5
                    |                     | C0 active   0.2%        0.2%
                    |                     | POLL        0.0%    0.0 ms  0.1%    0.1 ms
                    |                     | C1E         0.8%    0.4 ms  0.6%    0.8 ms
                    |                     |
                    | C3 (cc3)    0.0%    |
                    | C6 (cc6)    0.0%    | C6          0.0%    0.0 ms  0.0%    0.0 ms
                    | C7 (cc7)   97.8%    |
                    |                     | C8          1.5%    1.5 ms  0.9%    1.0 ms
                    |                     |
                    |                     |
                    |                     | C10        96.9%   51.7 ms 98.1%  142.1 ms

                    |            Core(HW) |            CPU(OS) 6   CPU(OS) 7
                    |                     | C0 active   0.0%        0.1%
                    |                     | POLL        0.0%    0.0 ms  0.0%    0.0 ms
                    |                     | C1E         0.6%    0.4 ms  0.0%    0.0 ms
                    |                     |
                    | C3 (cc3)    0.0%    |
                    | C6 (cc6)    0.0%    | C6          0.2%    0.7 ms  0.0%    0.0 ms
                    | C7 (cc7)   96.3%    |
                    |                     | C8          1.1%    2.3 ms  0.3%    1.3 ms
                    |                     |
                    |                     |
                    |                     | C10        98.1%   55.3 ms 99.5%   53.2 ms

                    |             GPU     |
                    |                     |
                    | Powered On  0.1%    |
                    | RC6        99.9%    |
                    | RC6p        0.0%    |
                    | RC6pp       0.0%    |
                    |                     |
                    |                     |
                    |                     |
                    |                     |
                    |                     |
                    |                     |

code:

              Usage     Device name
              0.8%        CPU misc
              0.8%        CPU core
            100.0%        PCI Device: Intel Corporation Device 7a3a
            100.0%        PCI Device: Intel Corporation Device 7a62
            100.0%        PCI Device: Intel Corporation Device 7a38
            100.0%        PCI Device: Realtek Semiconductor Co., Ltd. RTL8125 2.5GbE Controller
             59.5%        PCI Device: Intel Corporation Alder Lake-S GT1 [UHD Graphics 730]
              2.1 pkts/s  Network interface: enp2s0 (r8169)
              0.0%        PCI Device: Intel Corporation Device 7a4d
              0.0%        PCI Device: Intel Corporation Device 7a4e
              0.0%        PCI Device: Intel Corporation Device 7a68
              0.0%        PCI Device: Intel Corporation Device 7a27
              0.0%        PCI Device: Intel Corporation Device 7a7c
              0.0%        PCI Device: Intel Corporation Device 7a60
              0.0%        USB device: USB2.0 Hub
              0.0%        USB device: xHCI Host Controller
              0.0%        USB device: xHCI Host Controller

Bios settings: https://imgur.com/a/IHcfrJq

Als test heb ik ook eens een Debian 12 gedraaid. Hier had ik ongeveer hetzelfde resultaat: 10,5w idle.
Hier heb ik de network adapter in de bios eens gedisabled en toen ging het idle verbruik wel naar de 5w. Ik ben geen debian gebruiker, dus ik weet niet zeker of deze dan in een soort van slaapstand ging. (Ik heb de monitor, keyboard en muis uitgetrokken om idle verbruik te meten) Mijn uiteindelijke doel is wel om een Truenas te draaien, dus ik heb terug truenas geinstalleerd om verder te testen.

De volgende stap is om het enable-aspm script te proberen denk ik, maar ik moet toegeven dat dit wel een uitdaging is. Heeft er nog iemand andere suggesties?

Om heel eerlijk te zijn vind ik 10W met 5 SSD's niet heel slecht. Je kan nog even hardhandig proberen de Realtek NIC in het BIOS uit te zetten en te kijken waar je dan op uit komt. Dan weet je het in ieder geval.

Die coil-wine heb ik bij wel meer systemen die extreem low power gaan. Dat komt volgens mij omdat de VRM's in de allerlaagste power saving modus gaan. Was bij mijn H610T ook zo.
Kan niet zoveel kwaad, is vooral irritant.

[27000k]

@puUL: Je hebt een vergelijkbaar moederbord als ik en had vergelijkbare ervaringen.

Kijk naar mijn berichten.
Het commando maakt mijn computer echter onstabiel. Hij start van tijd tot tijd opnieuw op. Ik vermoed tenminste de handmatige instelling van ASPM. Ik heb het commando 1,5 dag geleden weer gedeactiveerd en sindsdien is hij niet meer opnieuw opgestart.
Houd dit in de gaten!!!!

[27000k]

FireDrunk schreef op woensdag 22 november 2023 @ 11:56:

Om heel eerlijk te zijn vind ik 10W met 5 SSD's niet heel slecht. Je kan nog even hardhandig proberen de Realtek NIC in het BIOS uit te zetten en te kijken waar je dan op uit komt. Dan weet je het in ieder geval.

Het komt van Realtek NIC.
Toen ik destijds de netwerkkabel loskoppelde, daalde het verbruik ook drastisch. Zie mijn bericht hierboven. Je kunt zien dat er geen ASPM is geactiveerd voor de Realtek NIC. Tenminste onder sommige besturingssystemen zoals Scale. Vreemd genoeg werkt dit met Unraid.

[FireDrunk]

27000k schreef op woensdag 22 november 2023 @ 11:58:
@puUL: Je hebt een vergelijkbaar moederbord als ik en had vergelijkbare ervaringen.

Kijk naar mijn berichten.
Het commando maakt mijn computer echter onstabiel. Hij start van tijd tot tijd opnieuw op. Ik vermoed tenminste de handmatige instelling van ASPM. Ik heb het commando 1,5 dag geleden weer gedeactiveerd en sindsdien is hij niet meer opnieuw opgestart.
Houd dit in de gaten!!!!

Mogelijk levert Unraid een custom driver mee? Daar ging het eerder ook al over in dit topic.

[renedis]

27000k schreef op woensdag 22 november 2023 @ 11:26:
[...]


a) Het grappige is dat ASPM is ingeschakeld wanneer ik dezelfde hardware opstart met Unraid of de beta van Fedora. Daar hoef ik niets voor te doen. Anderen hebben ook opgemerkt dat dit varieert afhankelijk van het besturingssysteem. Ook met Debian en de huidige Ubuntu versie is ASPM niet ingeschakeld.

b) Maakt het verschil of je het script gebruikt dat in de thread wordt genoemd of het commando dat ik gebruikte om het in te schakelen? Het commando is eenvoudiger.

code:

$ sudo lspci -vv | awk '/ASPM/{print $0}' RS= | grep --color -P '(^[a-z0-9:.]+|ASPM )'                    

00:06.0 PCI bridge: Intel Corporation 12th Gen Core Processor PCI Express x4 Controller #0 (rev 05) (prog-if 00 [Normal decode])
                LnkCap: Port #5, Speed 16GT/s, Width x4, ASPM L1, Exit Latency L1 <16us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
00:1a.0 PCI bridge: Intel Corporation Device 7a48 (rev 11) (prog-if 00 [Normal decode])
                LnkCap: Port #25, Speed 16GT/s, Width x4, ASPM L1, Exit Latency L1 <64us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
00:1c.0 PCI bridge: Intel Corporation Device 7a38 (rev 11) (prog-if 00 [Normal decode])
                LnkCap: Port #1, Speed 8GT/s, Width x1, ASPM L0s L1, Exit Latency L0s <1us, L1 <4us
                LnkCtl: ASPM L0s L1 Enabled; RCB 64 bytes, Disabled- CommClk-
00:1c.2 PCI bridge: Intel Corporation Device 7a3a (rev 11) (prog-if 00 [Normal decode])
                LnkCap: Port #3, Speed 8GT/s, Width x1, ASPM L1, Exit Latency L1 <64us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
01:00.0 Non-Volatile memory controller: Samsung Electronics Co Ltd NVMe SSD Controller SM981/PM981/PM983 (prog-if 02 [NVM Express])
pcilib: sysfs_read_vpd: read failed: No such device
                LnkCap: Port #0, Speed 8GT/s, Width x4, ASPM L1, Exit Latency L1 <64us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
02:00.0 Non-Volatile memory controller: Samsung Electronics Co Ltd NVMe SSD Controller PM9A1/PM9A3/980PRO (prog-if 02 [NVM Express])
                LnkCap: Port #0, Speed 16GT/s, Width x4, ASPM L1, Exit Latency L1 <64us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
04:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8125 2.5GbE Controller (rev 05)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L0s L1, Exit Latency L0s unlimited, L1 <64us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+

Je kunt de gehandicapten zien.
ASPM wordt geactiveerd door het volgende commando in te stellen.
Het stroomverbruik is lager (ongeveer 6 watt).

code:

sudo sh -c "echo 1 > /sys/bus/pci/devices/0000:04:00.0/link/l1_aspm"

Helaas heb ik gemerkt dat het systeem van tijd tot tijd opnieuw opstart. Het lijkt te komen door de activering van ASPM.

Met ASPM geactiveerd verbruikt de computer ongeveer 17 tot 18 watt onder TrueNAS Scale met twee harde schijven aan. Ik denk dat dat een goede waarde is. Zonder de harde schijven is het ongeveer 10 watt minder.

3) Ik heb een Kontron K3842-Q2 besteld met Crucial DIMM 32 Gbyte, DDR5-4800, CL40-39-39, on-die ECC.

4) Ik hoop dat je mijn bericht begrijpt. Ik heb de vertaalmachine gebruikt omdat ik geen Nederlands spreek.

code:

sudo sh -c "echo 1 > /sys/bus/pci/devices/0000:04:00.0/link/l1_aspm"

Dit werkt, maar zet ASPM alleen aan op de volgens het device/moederbord default ondersteunde waarde. Met name Realtek is in de praktijk slecht geconfigureerd in wat het nu daadwerkelijk ondersteund. Met het script kan je de waardes handmatig aanpassen desondanks het volgens het device/moederbord niet kan.

code:

L0 – All PCI Express transactions and other operations are enabled.
L0s – A low resume latency, energy saving “standby” state.
L1 – Higher latency, lower power “standby” state (optional).
L0sL1 - Activate both L0s and L1 support.

[puUL]

@FireDrunk Deze testresultaten zijn allemaal met 1 enkele ssd. Ik ben alvast tevreden met 10 watt, ik wilde enkel onderzoeken of ik lager geraakte. Bedankt voor de suggestie voor custom driver, dit kan ik nog onderzoeken.

@27000k Ik heb het getest met jouw command en het werkte inderdaad. Verbruik ging naar 5 watt. Ik hoorde wel een vreemde ruis uit mijn systeem, dus ik heb gereboot want dit klonk niet zo goed.

@renedis Dus dit

sudo sh -c "echo 1 > /sys/bus/pci/devices/0000:04:00.0/link/l1_aspm"

commando is een "veiligere" manier dan het script?

[ Voor 15% gewijzigd door puUL op 22-11-2023 12:05 ]

[FireDrunk]

Oeh, ik zie deze op de Kontron website: https://www.kontron.com/e...k3831-h-thin-mitx/p180408

Misschien een paar tests afwachten, maar dit is best een goede kanshebber om mijn ASUS H610T toch nog te vervangen in mijn router.

Grote voordeel is dat hij zowel een Realtek als een Intel NIC heeft, en ik er eigenlijk maar 1 (of 0) nodig heb, zolang het ding maar zuinig is. In theorie zou ik de Realtek uit kunnen zetten, en alleen de Intel kunnen gebruiken.

Hopen dat ie betaalbaar en vooral leverbaar wordt.

[ Voor 37% gewijzigd door FireDrunk op 22-11-2023 12:08 ]

[renedis]

@puUL het klopt wat @FireDrunk zegt, UnRaid heeft custom drivers. Je kan bij de "apps" zoeken op Realtek en ze daar vinden. Echter weet ik niet of de 2.5GbE versie daar ook onder valt.

Het commando zet alleen ASPM aan op de gerapporteerde waarde. Het script kan daadwerkelijk de waardes aanpassen.

edit:
@FireDrunk ik zit al dag en jaar te wachten op dat moederbord, maar het is nog steeds niet uitgebracht. Enig punt wat ik zie als nadeel is het aangepaste stroomaansluiting.

[ Voor 22% gewijzigd door renedis op 22-11-2023 12:15 ]

[27000k]

@renedis
Ik heb de Gigabyte B760M Gaming X DDR4.
Ik moet hier meelezen met een vertaalmachine en begrijp daarom niet alles.
Ik zou ook iets anders proberen als je me kunt vertellen wat ik moet instellen.

@puUL: Uw verbruik is gedaald, net als het mijne. Ik heb niets negatiefs gemerkt, behalve dat de computer om de paar uur opnieuw opstart.

Als ik nu een Unraid of Fedora installeer, wordt ASPM out-of-the-box geactiveerd. Ik neem aan dat het systeem ook stabiel blijft met Unraid of Fedora.

Daarom hoop ik dat TrueNAS Scale toch zal werken. In de tussentijd heb ik ook het Kontron moederbord besteld.

[27000k]

[b]renedis in "Het grote zuinige server topic - deel 3"
Het commando zet alleen ASPM aan op de gerapporteerde waarde. Het script kan daadwerkelijk de waardes aanpassen.

Dus dan zou ik het met het script moeten proberen. Kunt u me helpen?

[renedis]

27000k schreef op woensdag 22 november 2023 @ 12:11:
[...]

Dus dan zou ik het met het script moeten proberen. Kunt u me helpen?

I've sent you a DM.

[27000k]

@puUL Als Unraid ook goed voor je is, kun je het eens proberen. Volgens andere gebruikers lijkt mijn bord super stabiel en energiezuinig te draaien onder Unraid.
Onder Scale lukt het me echter niet om het bord stabiel te laten werken met ASPM geactiveerd.

[ Voor 22% gewijzigd door 27000k op 22-11-2023 14:26 ]

[puUL]

@27000k Ja, dat kan zeker een optie zijn! Als er een gratis test versie is, probeer ik ze graag.

[FireDrunk]

Zojuist voor de lol even mijn Odroid H2 power consumption getest.
Met een verse Debian installatie en ASPM geforceerd (L0 + L1), haalt het systeem 3W en zijn de 2 Realtek NIC's gewoon stabiel. Het ligt dus duidelijk wel aan het 'platform' of ASPM goed werkt.

Het verbruik stijgt bij volle belasting van de NIC (1Gb) naar een whopping 4.9W.

Het blijft stiekem de perfecte router...

Als ik weer een keer tijd heb, ga ik die M.2 naar PCIe 10GB NIC setup maar eens aan de H2 hangen, en kijken wat het verbruik dan doet...

Maar man, wat zijn die Odroid H* dingen goed...

[27000k]

FireDrunk schreef op woensdag 22 november 2023 @ 20:03:


Het blijft stiekem de perfecte router...

CoreBoot (geen "China" UEFI) en Intel NIC's ontbreken.

Ik heb ook een Odroid H2+ die met TrueNAS Scale werkt. De Odroid is momenteel uitgeschakeld. Dus misschien valt er nog iets te zeggen over het stroomverbruik. Ik heb nog niet geprobeerd het systeem verder te optimaliseren. Maar het kan ook zijn dat TrueNAS Scale verdere optimalisatie tegenhoudt.

Ik bereik C7 en het stroomverbruik ligt rond de 20 watt met twee continue 12 TB harde schijven en een NVMe SSD (KINGSTON A2000). De KINGSTON A2000 is misschien niet optimaal (ik heb eens gelezen over een bug op Heise).

Ik gebruik een Leicke 90 watt voeding.

Ik denk niet dat ASPM is geactiveerd op de Realtek NIC. Ik moet het nog eens controleren, maar ik moet nu weg.

[Mich]

FireDrunk schreef op woensdag 22 november 2023 @ 20:03:
Zojuist voor de lol even mijn Odroid H2 power consumption getest.
Met een verse Debian installatie en ASPM geforceerd (L0 + L1), haalt het systeem 3W en zijn de 2 Realtek NIC's gewoon stabiel. Het ligt dus duidelijk wel aan het 'platform' of ASPM goed werkt.

Het verbruik stijgt bij volle belasting van de NIC (1Gb) naar een whopping 4.9W.

Het blijft stiekem de perfecte router...

Als ik weer een keer tijd heb, ga ik die M.2 naar PCIe 10GB NIC setup maar eens aan de H2 hangen, en kijken wat het verbruik dan doet...

Maar man, wat zijn die Odroid H* dingen goed...

Ik ben daar wel benieuwd naar ook. Ik zou in de toekomst ooit mijn glasvezel aansluiting direct in mijn PC willen via een sfp adapter. Er zijn er al een paar beschikbaar die specifiek xps-pon ondersteunen. Misschien eens in het delta topic na vragen. Ik heb nu een losse eigen modem die +-5W trekt.

Mocht dat geen optie zijn kan ik wellicht mijn snelle internet wel in mijn PC (met opnsense) krijgen.

[27000k]

[b]FireDrunk in "Het grote zuinige server topic - deel 3"
Met een verse Debian installatie en ASPM geforceerd (L0 + L1), haalt het systeem 3W en zijn de 2 Realtek NIC's gewoon stabiel. Het ligt dus duidelijk wel aan het 'platform' of ASPM goed werkt.

Hoe heb je ASPM geactiveerd? Kun je je procedure posten? Als ik tijd heb, probeer ik het te kopiëren.

[renedis]

@Mich een xgs-pon module is erg prijzig, de terugverdientijd ga je nooit behalen. Maar ik snap dat er wellicht een "omdat het kan" factor meetelt. Weet dat er maar een kleine selectie SFP modules werken met Delta, waaronder de Zaram, Nokia en CIG.

De Zaram kost +- 140 euro
De Nokia kost +- 250 euro
De CIG is vrijwel niet leverbaar

Een simpele Intel i210 module met SFP is over het algemeen het zuinigst en voordeligst. Je bent daarmee wel gelimiteerd tot 1Gb/s. Wil je sneller moet je overstappen naar SFP+ welke over het algemeen veel minder zuinig is.

SFP nic:
https://www.aliexpress.com/item/4001304878210.html
https://www.aliexpress.com/item/1005005932580412.html

Ikzelf krijg hopelijk binnen nu en 2 a 3 weken de Zaram module binnen voor mijn KPN xgs-pon verbinding

[FireDrunk]

27000k schreef op donderdag 23 november 2023 @ 09:23:
[...]

Hoe heb je ASPM geactiveerd? Kun je je procedure posten? Als ik tijd heb, probeer ik het te kopiëren.

BIOS settings vrijwel zoals in de startpost. Boot optie pcie_aspm=force, en het ASPM script wat in dit topic al een aantal keer langsgekomen is.

[27000k]

FireDrunk schreef op donderdag 23 november 2023 @ 11:43:
[...]

BIOS settings vrijwel zoals in de startpost. Boot optie pcie_aspm=force, en het ASPM script wat in dit topic al een aantal keer langsgekomen is.

Dat zal voor mij mislukken vanwege TrueNAS Scale. Ik had het zelf al geprobeerd op een ander systeem en gisteren probeerde Renedis het op mijn systeem. TrueNAS Scale wordt niet geleverd met BC en dit kan niet eenvoudig worden geïnstalleerd.
Ik ben van plan om Odroid in de toekomst te gebruiken voor ZFS snapshots (back-up). Ik kan zeker van Scale afstappen en iets anders gebruiken. Laten we eens kijken.
Bedankt voor de info.

[27000k]

Cinner schreef op zondag 29 oktober 2023 @ 21:07:
Ik heb nog een mooie meting voor jullie. Dit is de Kontron K3842-Q2, dual lan met 1Gbps en 2.5Gbps, M2 slot voor Wifi/BT en een USB-C poort. In Windows 11 heb ik met alles aangesloten en monitor op zwart op zijn laagst 3.85 W gemeten! Dat is met de 1Gbps LAN poort. Echt een mooi resultaat vind ik.

Throttlestop geeft hier echter max C-state C6 aan, maar gezien het geringe stroomverbruik zou ik me daar geen zorgen om maken. In Fedora 38 met TLP ipv powertop (powertop --auto-tune heb ik niet geprobeerd) zag ik zonder problemen C10 voorbij komen.


Overigens is dit resultaat volledig zonder load want ik heb geen containers of niks geïnstalleerd. Een best case scenario dus.

Welke BIOS/UEFI-versie gebruik je?
Ik had c6 bereikt. Na het uitvlakken naar de huidige versie R.2.6.0 bereik ik op dit moment slechts c3!?

Wat zijn je BIOS/UEFI instellingen?


Edit:
In de tussentijd heb ik een tweede NVMe geïnstalleerd. Het feit dat alleen C3 nog mogelijk was, was al voor de installatie.

Edit:
Het stroomverbruik is beter dan met de Gigabyte eerder onder TrueNAS Scale, zolang ik ASPM niet had geforceerd via commando's voor de Realtek NIC. Het forceren maakte het moederbord echter instabiel en het rebootte om de paar uur. Daarom heb ik de Kontron aangeschaft.

Ik zit momenteel op ongeveer 20 watt met twee 12 TB HDD's die continu draaien en twee NVMe + 2,5 GBe verbindingen. Bewerk: correctie => schommelt tussen 18,5 en 20,5 watt.

[ Voor 22% gewijzigd door 27000k op 24-11-2023 17:46 ]

[Cinner]

27000k schreef op vrijdag 24 november 2023 @ 16:29:
[...]

Welke BIOS/UEFI-versie gebruik je?
Ik had c6 bereikt. Na het uitvlakken naar de huidige versie R.2.6.0 bereik ik op dit moment slechts c3!?

Wat zijn je BIOS/UEFI instellingen?

Als ik me niet vergis, gebruikte ik de default instellingen met de nieuwste bios versie die op dat moment beschikbaar was (2.6 denk ik). Ik heb het bord niet meer.

[Volv]

Ik heb recent een Lenovo M900 Tiny op de kop getikt die nu voornamelijk dienst doet als Home Assistant server en gemiddeld rond de 10W verstookt (gemeten met een goedkope chinese smart socket dus neem dat met een korrel zout). Dat is met Proxmox als OS, Home Assistant OS in een VM en een paar lichte containers zoals PiHole en Nginx Proxy Manager. Allemaal erg leuk en leerzaam, maar nu heb de smaak te pakken en wil ik meer. Specifiek wil ik NAS functionaliteit. En denk ik meer bang for buck te kunnen krijgen met een DIY systeem als ik de prijzen van kant en klare NAS systemen zo zie. Daarnaast zet ik met een krachtiger systeem ook de deur open voor veel meer leuke dingen.

Use cases die ik zo kan bedenken:
- Home Assistant
- Home cloud storage
- Backups
- Media server
- NVR met AI detectie, eventueel met een Coral TPU of dedicated GPU voor (zelfontwikkelde) detectiesoftware
- ...

Nu is het allemaal slechts voor 1-2 gebruikers dus wil ik geen overkill systeem bouwen. Ik wil graag inzetten op performance per watt.

Op internet zie ik wel NAS builds voorbij komen met Topton mobos en Jonsbo cases van aliexpress, maar voor een home server die mijn belangrijke files moet beheren vind ik dat een beetje te sketchy.

Heb zelf wat zitten puzzelen en nu dit systeem samengesteld:

#	Category	Product	Prijs	Subtotaal
1	Processors	AMD Ryzen 3 3200G Boxed	€ 72,-	€ 72,-
1	Moederborden	MSI A520M-A PRO	€ 56,-	€ 56,-
1	Behuizingen	Inter-Tech IM-1 Pocket	€ 66,42	€ 66,42
1	Usb-sticks	Team Group C171 16GB Zwart	€ 3,29	€ 3,29
1	Processorkoeling	Gelid Solutions Slim Silence Black	€ 18,45	€ 18,45
1	Geheugen intern	Kingston KSM32ED8/16MR	€ 41,48	€ 41,48
1	Voedingen	be quiet! SFX POWER 3 300W	€ 54,86	€ 54,86
			Totaal	€ 312,50

Met daarbij als storage waarschijnlijk iets als dit:

#	Category	Product	Prijs	Subtotaal
1	Interne harde schijven	Seagate Exos X16 SATA (Standard model), 16TB	€ 245,21	€ 245,21
1	Interne harde schijven	Toshiba MG08 SATA (512e), 16TB	€ 249,90	€ 249,90
1	Solid state drives	Lexar NM790 (met heatsink) 1TB	€ 66,25	€ 66,25
			Totaal	€ 561,36

HDDs in RAID1 en de SSD voor ofwel VMs of als cache.

Qua software ligt Unraid voor de hand, maar ik heb nog geen enkele ervaring met welk NAS OS dan ook, dus advies hierover is welkom. Ook met het oog op virtualizatie via Proxmox. Ik vind het wel leuk om dingen uit te vogelen en wat aan te prutsen, maar ik heb ook weer geen zin om fulltime sysadmin van mijn thuisnetwerk te moeten spelen, dus enig gebruiksgemak kan geen kwaad.

Enkele vragen:
- Wat kan ik bij een dergelijke systeem verwachten aan energieverbruik?
- Is dit een redelijke build voor een home server met mijn (bescheiden) use cases? Of is het juist overkill of underpowered?

De Intel N100 bordjes lijken ook erg interessant, maar ik las dat de 3 die nu verkrijgbaar zijn van Asrock en Asus jammer genoeg niet voldoende zuinig draaien.

[eheijnen]

@Volv
Dat MSI mainboard kan ik je per direct afraden ALS je voor een super zuinig systeem wil gaan. Ik heb dit onlangs zelf gekocht (via V&A) en dat bord heeft geen adequate ondersteuning voor ASPM. Ik krijg dat met een normale voeding en een 5600G niet lager dan 14 watt. En dat is op een kaal systeem zonder dat daar nog taken op draaien.

MSI staat hier over het algemeen bekend als niet zuinig. Ik heb nog een ander MSI bord en ben over de kwaliteit en stabiliteit van deze borden wel zeer tevreden.

Wie weet komen ze in de nabije toekomst nog eens met een goed werkende ASPM bios implementatie.

[mrmrmr]

@Volv In het algemeen is Intel voor desktopprocessoren veel beter in laag idle verbruik dan AMD.

Nog steeds is 9th gen Fujitsu D3643-H met bijvoorbeeld een Pentium of 8000/9000 serie processor de beste afweging is van kracht met een stabieler beperkt verbruik bij kleine belasting. Maar die zijn niet makkelijk meer te verkrijgen.

Intel heeft met 12th in de competitie met AMD alle remmen losgelaten, vooral bij hoge frequenties is het verbruik hoog. De p-states zijn aggressief in het verhogen van de frequentie. @Mars Warrior heeft inspanningen verricht het systeem "te temmen".

Onder de gepinde posts (ook in deel 2) vind je metingen van diverse systemen. Dat is de knop rechtsboven.

Een GPU is het onderdeel dat bij gaming systemen het verbruik flink laat stijgen. Coral voegt ook verbruik toe, maar minder.

RAID kun je het beste vervangen door een echte backup. Het verbruik van de disk verdubbelt bij mirroring zonder functionele noodzaak (geen grote kans op problemen en geen grote schade). Voor backup kun je een externe USB HDD behuizing gebruiken. Die kan eenvoudig worden aangesloten en uitgezet.

Onder 10W zal je systeem niet uitkomen met twee actieve hard disks. Zie topic start voor het idle verbruik van hard disks.

Direct gebruik van programma's of als eventueel in containers is veel zuiniger dan VM's. Reken bij VM's er op dat je een extra systeem met navenant verbruik optuigt, dat komt door de overhead van elk besturingssysteem. En ESXi is zonder VM's ook al niet zuinig omdat het low power modes van diverse onderdelen niet ondersteund.

[Volv]

mrmrmr schreef op zondag 26 november 2023 @ 12:36:
RAID kun je het beste vervangen door een echte backup. Het verbruik van de disk verdubbelt bij mirroring zonder functionele noodzaak (geen grote kans op problemen en geen grote schade).

Wat als data corrupt raakt? Zonder parity om te detecteren dat er ergens een bit is omgevallen wordt je corrupte data vrolijk gebackupped zonder er ooit wat van te merken. Of zijn hier tegenwoordig softwarematige oplossingen voor? (Overigens ook de reden dat ECC RAM me geen overbodige luxe lijkt. Data integriteit is belangrijk en de plek waar het het meest logische is om hier vrij ver in te gaan is bij je centrale opslag, lijkt me). Of maak ik me hier nu te druk over?

[RobertMe]

Volv schreef op zondag 26 november 2023 @ 13:14:
[...]

Wat als data corrupt raakt? Zonder parity om te detecteren dat er ergens een bit is omgevallen wordt je corrupte data vrolijk gebackupped zonder er ooit wat van te merken. Of zijn hier tegenwoordig softwarematige oplossingen voor? (Overigens ook de reden dat ECC RAM me geen overbodige luxe lijkt. Data integriteit is belangrijk en de plek waar het het meest logische is om hier vrij ver in te gaan is bij je centrale opslag, lijkt me). Of maak ik me hier nu te druk over?

Data integrateit kun je ook garanderen met checksumming. Iets dat (bv) ZFS doet direct in het filesystem. Naast dat ZFS nog wat voordelen heeft zoals repliceren snapshots met zfs send / receive.

Maar het is natuurlijk een afweging die ieder voor zich moet maken. Zelf draai ik ook RAIDZ1 over drie schijven. Ja, twee striped disks en een losse backup zou zuiniger zijn. Maar ik wilde (op dat moment) garanties hebben over data integriteit.
Intussen heb ik een nieuw server systeempje zonder enige redundancy. Van 2 NVME SSDs (in mirror) met OS naar 1, van 3x 3,5" HDD naar 1x 2,5" SSD. Oude server staat nu aan als NAS als ik het nodig vind. En offsite een OrangePi 3 liggen met 2,5" SSD die elke zoveel uur backup binnen haalt.

[Volv]

Dank voor de feedback, dat was leerzaam.

Blijkt dat dat ASRock N100 bordje toch wel zuinig is als ik zo wat van de gepinde posts lees.
Ziet er qua connectiviteit en power usage wel goed uit voor mijn use case.
1x m2, 2x sata, PCIe slots voor verdere uitbreidingen (NIC of GPU). Zou dat 2e m2 slot voor een wifi kaart een Coral TPU slikken? (edit: nee, dat is enkel een CNVi slot).

Wellicht is dit dan een beter systeem. Met 1x m2 SSD en 1x SATA HDD. Plan is om de SSD te mirroren op de HDD (als in, regelmatig van SSD naar HDD syncen) en 8TB van de HDD te mirroren op een externe HDD die ik nog heb liggen. Dan heb ik nog zo'n 6TB over die ik kan gebruiken voor dingen die geen backup vergen, zoals bepaalde media bestanden. Of een grotere externe HDD kopen en gewoon de hele disk mirroren.

#	Category	Product	Prijs	Subtotaal
1	Moederborden	ASRock N100DC-ITX	€ 139,90	€ 139,90
1	Behuizingen	Inter-Tech IM-1 Pocket	€ 66,42	€ 66,42
1	Usb-sticks	Team Group C171 16GB Zwart	€ 3,29	€ 3,29
1	Geheugen intern	Kingston KSM32ED8/16HD	€ 41,66	€ 41,66
			Totaal	€ 251,27

#	Category	Product	Prijs	Subtotaal
1	Interne harde schijven	Toshiba MG08 SATA (512e), 16TB	€ 249,90	€ 249,90
1	Solid state drives	Samsung 970 Evo Plus 2TB	€ 99,90	€ 99,90
1	Overclocking	Akasa M.2 SSD heatsink	€ 8,-	€ 8,-
			Totaal	€ 357,80

En dan is er nog de vraag, welk OS?
Ik heb nu een beetje ervaring met Proxmox en dat werkt best fijn tot nu toe. Is het een probleem om een NAS OS als Unraid of TrueNAS als VM in Proxmox te draaien? Dan heb ik veel vrijheid om andere services te draaien naast het NAS gebeuren. Maar ik weet niet of dat wel zo bevorderlijk is voor het energieverbruik ten opzichte van gewoon Unraid of TrueNAS direct draaien. Wellicht is een dergelijk dedicated NAS OS al overkill, geen idee.

[ Voor 20% gewijzigd door Volv op 26-11-2023 21:48 ]

[GoBieN-Be]

Met Proxmox heb je het voordeel dat je op Linux draait en dat je dus kan energiezuinig tunen met powertop bijvoorbeeld.
Wel krijg je extra overhead door de VM's.

Maar mijn test met OPNsense (dat op BSD gebaseerd is, net zoals TrueNAS) was een hoger verbruik wanneer bare metal geïnstalleerd. En dus lager verbruik in een VM op Proxmox.

En daar bovenop de flexibiliteit om extra LXC's en VM's te draaien om te testen.

Maar unraid is linux, dus kan even zuinig wellicht. En ik denk dat je in unraid ook wat met containers kan doen.

Keuzes, keuzes

[GioStyle]

Als je voor de allerzuinigste optie wil gaan: Debian met Docker(containers) en Samba voor filesharing.

De rest is suboptimaal, maar kunnen een alternatief zijn afhankelijk van je kennis en kunde.

[blehz]

Cinner schreef op zaterdag 25 november 2023 @ 19:28:
[...]

Als ik me niet vergis, gebruikte ik de default instellingen met de nieuwste bios versie die op dat moment beschikbaar was (2.6 denk ik). Ik heb het bord niet meer.

Ik dacht dat er niet veel te tunen was omdat het bord zo al zuinig is. Ik heb het bord van Cinner overgenomen. Heb ondertussen alle andere hardware besteld dus ga hier binnenkort de eerste bevindingen posten. Heb niet heel veel tijd de komende 2 weken dus uitgebreide tests zijn voor eind december.

[blehz]

Als je momenteel niet weet welk OS te installeren zou ik het eerst allemaal eens testen en uitproberen voor je het systeem helemaal instelt.
Zelf ben ik er ook nog niet uit. TrueNAS Scale barebone lijkt me niet goed genoeg als je nog andere dingen wil doen. Container support zou minimaal zijn. Proxmox is een kanshebber maar VM's verbruiken ook meer. Ik kijk momenteel meer naar Open Media Vault. Gebaseerd op Debian dus heb je alle voordelen van beide.
Ik wil hier ook OPNSense en backup systeem draaien met een 10 tal containers met services.

[dupondje]

Was van plan om de volgende case te gebruiken voor mijn nieuwe setup:
https://www.inter-tech.de...ls-145/1.5U-1528L_EN.html

Vooral de diepte is belangrijk, aangezien het geen full depth server rack is thuis.
Maar ik begin mij zorgen te maken over koeling van de CPU in die case. Zeker omdat er maar een CPU koeler in kan van max 40mm hoog.

Toevallig iemand ervarging met deze case en de koeling? Of andere aanraders?

[renedis]

dupondje schreef op maandag 27 november 2023 @ 13:25:
Was van plan om de volgende case te gebruiken voor mijn nieuwe setup:
https://www.inter-tech.de...ls-145/1.5U-1528L_EN.html

Vooral de diepte is belangrijk, aangezien het geen full depth server rack is thuis.
Maar ik begin mij zorgen te maken over koeling van de CPU in die case. Zeker omdat er maar een CPU koeler in kan van max 40mm hoog.

Toevallig iemand ervarging met deze case en de koeling? Of andere aanraders?

Dat is een 1.5U case, daar passen 2x 60mm fans in voor een goede airflow. 40mm hoogte voor een CPU fan is geen probleem voor bijvoorbeeld de Noctua NH-L9x

Meermaals besproken in dit topic over mn 1U ultra short depth, zie hier een foto:
renedis in "Het grote zuinige server topic - deel 3"

Ik gebruik 2x 40mm fans met een vapor chamer CPU full copper koelblok, er zit liquid metal tussen ipv koelpasta. Systeem doet inmiddels rond de 7w idle . Niet slecht vind ik zelf voor een 12700T met 64 GB geheugen.

Stats:

[FireDrunk]

blehz schreef op maandag 27 november 2023 @ 08:27:
Als je momenteel niet weet welk OS te installeren zou ik het eerst allemaal eens testen en uitproberen voor je het systeem helemaal instelt.
Zelf ben ik er ook nog niet uit. TrueNAS Scale barebone lijkt me niet goed genoeg als je nog andere dingen wil doen. Container support zou minimaal zijn. Proxmox is een kanshebber maar VM's verbruiken ook meer. Ik kijk momenteel meer naar Open Media Vault. Gebaseerd op Debian dus heb je alle voordelen van beide.
Ik wil hier ook OPNSense en backup systeem draaien met een 10 tal containers met services.

Je hoeft niet perse VM's te gebruiken met Proxmox? Je kan prima LXC of Docker gebruiken.
LXC vs Docker is een lastige (lees hier bijvoorbeeld: LXC vs Docker - overstappen nuttig?)

Als je Docker gaat is Proxmox een beetje zonde, want dan mis je 99% van de integraties.
Kan je beter kaal Debian gebruiken en wat extra UI's toevoegen zoals Cockpit en Portainer.

[ Voor 3% gewijzigd door FireDrunk op 27-11-2023 15:10 ]

[blehz]

FireDrunk schreef op maandag 27 november 2023 @ 15:10:
[...]


Je hoeft niet perse VM's te gebruiken met Proxmox? Je kan prima LXC of Docker gebruiken.
LXC vs Docker is een lastige (lees hier bijvoorbeeld: LXC vs Docker - overstappen nuttig?)

Als je Docker gaat is Proxmox een beetje zonde, want dan mis je 99% van de integraties.
Kan je beter kaal Debian gebruiken en wat extra UI's toevoegen zoals Cockpit en Portainer.

Ik vermeldde dit omdat ik veel lees dat x en y in VM moet draaien en er dan geklaagd wordt over het extra verbruik.
Ja kan ook altijd Proxmox als app draaien, dan zet je jezelf niet vast met het OS. Al weet ik niet of dat nadelen heeft qua verbruik of andere.

[renedis]

blehz schreef op maandag 27 november 2023 @ 16:09:
[...]


Ik vermeldde dit omdat ik veel lees dat x en y in VM moet draaien en er dan geklaagd wordt over het extra verbruik.
Ja kan ook altijd Proxmox als app draaien, dan zet je jezelf niet vast met het OS. Al weet ik niet of dat nadelen heeft qua verbruik of andere.

Als aanvulling op @FireDrunk, ProxMox is zonde als je enkel met dockers aan de slag gaat. Mocht je waarde hechten aan een webGUI kan je Portainer of CoreOS er op installeren.

Vm’s draaien kost inderdaad meer resources, en dus meer stroom.

[ Voor 5% gewijzigd door renedis op 27-11-2023 16:13 ]

[FireDrunk]

blehz schreef op maandag 27 november 2023 @ 16:09:
[...]


Ik vermeldde dit omdat ik veel lees dat x en y in VM moet draaien en er dan geklaagd wordt over het extra verbruik.
Ja kan ook altijd Proxmox als app draaien, dan zet je jezelf niet vast met het OS. Al weet ik niet of dat nadelen heeft qua verbruik of andere.

Proxmox als app scheelt niets met Proxmox als OS. Het is beide Debian met extra packages.

En in sommige gevallen is een VM inderdaad iets makkelijker, maar of het echt veel uitmaakt hangt heel erg af van het product.

Zo heb ik prima HomeAssistent in Docker draaien, maar vinden andere mensen dat irritant.

EDIT: Overigens kosten VM"s maar een fractie meer dan containers, het is niet alsof we het over honderden euro's per jaar hebben... Als jij meer lol hebt met VM's, lekker VM's draaien.

[ Voor 11% gewijzigd door FireDrunk op 27-11-2023 16:27 ]

[dcm360]

Proxmox als app, wat moet ik me daar bij voorstellen? Een gewone Debian met daarop Proxmox? Want dat is wat betreft eindresultaat niet anders dan Proxmox direct installeren, inclusief kernel.

[Mars Warrior]

Als je inderdaad alles met Docker doet, dan is een OS als Debian of Ubuntu voldoende.

Vervolgens gooi je alls in 1 docker compose file, en gaan met die banaan.

Dat je Portainer er ook bij doet is puur gemak om logs en andere zaken makkelijk te kunnen inzien.

Gebruik je Caddy met docker plugin, dan kun je je domeinen ook in je docker compose file kwijt en verzorgt Caddy automatisch je lokale en publike domeinen, inclusief SSL certificaten.

[blehz]

dcm360 schreef op maandag 27 november 2023 @ 16:39:
Proxmox als app, wat moet ik me daar bij voorstellen? Een gewone Debian met daarop Proxmox? Want dat is wat betreft eindresultaat niet anders dan Proxmox direct installeren, inclusief kernel.

De Proxmox kernel moet dan ook op je Debian geïnstalleerd worden. Geen idee of er een voordeel is om het als app op je eigen Debian te installeren.

[RobertMe]

blehz schreef op dinsdag 28 november 2023 @ 08:36:
[...]


De Proxmox kernel moet dan ook op je Debian geïnstalleerd worden. Geen idee of er een voordeel is om het als app op je eigen Debian te installeren.

Potayto potahto. Proxmox is 1 package die alle Proxmox software installeert en een dependency heeft op de custom Proxmox kernel. Dus het enige verschil is vervolgens de installer (Debian installer vs Proxmox installer).

[Psychsome]

Laast de Kontron K3843-B gekocht om ook een zuinige server te starten, G6900 er in gedaan om deze richting boot te krijgen voor een 13th gen bios update maar ik krijg er geen beeld uit.
Bord lijkt normaal op te starten en trekt zn 30W dus het doet iets.

Iemand hier een idee?

[Mars Warrior]

Psychsome schreef op dinsdag 28 november 2023 @ 13:33:
Laast de Kontron K3843-B gekocht om ook een zuinige server te starten, G6900 er in gedaan om deze richting boot te krijgen voor een 13th gen bios update maar ik krijg er geen beeld uit.
Bord lijkt normaal op te starten en trekt zn 30W dus het doet iets.

Iemand hier een idee?

Lastig. Hij draait dus wel. Je kunt ook niet in de BIOS komen?

Als er nog een oude BIOS opzit, dan kan die ook erg selectief zijn als het om RAM gaat. Wat voor RAM (en mogelijk SSD) heb je er nu inzitten?

[ Voor 26% gewijzigd door Mars Warrior op 28-11-2023 14:19 ]

[Yarisken]

Psychsome schreef op dinsdag 28 november 2023 @ 13:33:
Laast de Kontron K3843-B gekocht om ook een zuinige server te starten, G6900 er in gedaan om deze richting boot te krijgen voor een 13th gen bios update maar ik krijg er geen beeld uit.
Bord lijkt normaal op te starten en trekt zn 30W dus het doet iets.

Iemand hier een idee?

Je hoort geen geluidjes van het moederbord ?

[OMX2000]

Ik zie dat er voor de Fujitsu D3644 er een R1.28.0 bios versie beschikbaar is. Ik weet vrij zeker dat die BIOS niet geinstalleerd is bij mij. Heeft iemand die wel draaien? En zo ja, ben je tegen issues aangelopen?

[Psychsome]

@Mars Warrior Er komt helemaal geen beeld uit. Dat maakt het erg frustrerend.

Dit is de setup, (i5 gaat er in als de bios update lukt):

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Celeron G6900 Tray	€ 67,89	€ 67,89
1	Moederborden	Kontron K3843-B	€ 0,-	€ 0,-
1	Computer accessoires	Leicke ULL power supply 150W	€ 50,69	€ 50,69
1	Geheugen intern	Crucial CT32G48C40U5	€ 95,28	€ 95,28
1	Voedingen	Mini-box picoPSU PicoPSU-160-XT	€ 0,-	€ 0,-
1	Solid state drives	WD Blue SN570 500GB	€ 39,55	€ 39,55
Bekijk collectie Importeer producten			Totaal	€ 253,41

Boord versie is K3843-B12 REV 0101000002, dus volgens de sheet wel een van de eerste reeks.
Dus kritische bios is een goede optie.

Als ik t geheugen er uit haal gaat die piepen, met de Crucial er in niet.
Mocht je een stick weten die werkt dan hoor ik t graag ga ik dat bestellen.

@Yarisken Moederbord doet verder geen geluid maken. (Behalve als ik dus geen RAM dr in heb).

EDIT :RAM @FireDrunk thanks

[FireDrunk]

Psychsome schreef op dinsdag 28 november 2023 @ 16:21:
@Mars Warrior Er komt helemaal geen beeld uit. Dat maakt het erg frustrerend.

Dit is de setup, (i5 gaat er in als de bios update lukt):

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Core i5-13500 Boxed	€ 260,96	€ 260,96
1	Moederborden	Kontron K3843-B	€ 0,-	€ 0,-
1	Computer accessoires	Leicke ULL power supply 150W	€ 50,69	€ 50,69
1	Geheugen intern	Crucial CT32G48C40S5	€ 103,25	€ 103,25
1	Voedingen	Mini-box picoPSU PicoPSU-160-XT	€ 0,-	€ 0,-
1	Solid state drives	WD Blue SN570 500GB	€ 39,55	€ 39,55
Bekijk collectie Importeer producten			Totaal	€ 454,45

Boord versie is K3843-B12 REV 0101000002, dus volgens de sheet wel een van de eerste reeks.
Dus kritische bios is een goede optie.

Als ik t geheugen er uit haal gaat die piepen, met de Crucial er in niet.
Mocht je een stick weten die werkt dan hoor ik t graag ga ik dat bestellen.

@Yarisken Moederbord doet verder geen geluid maken. (Behalve als ik dus geen RAM dr in heb).

Je moederbord is een mATX bord met gewone DIMM sloten, maar je hebt SO-DIMM's gelinkt?
Heb je de P4 (4 pin cpu stekker) aangesloten vanaf je PicoPSU?

[Psychsome]

@FireDrunk Yes CPU 4P is aangesloten

[FireDrunk]

Heb je het BIOS al een keer gereset? en gebruik je de goede DisplayPort? (Of probeer eens een andere )
Ook zeg je in je eerste post G6900, maar je linked een 13500, welke is het?

Overigens kan het best even duren voordat je bord start als je er net power op zet ivm iAMT die start (hoewel dat ook weer niet super lang duurt).

[ Voor 29% gewijzigd door FireDrunk op 28-11-2023 17:09 ]

[mrmrmr]

@Psychsome
30W klinkt alsof het in de BIOS draait. Je hebt een goede DisplayPort kabel nodig om aan te kunnen sluiten. Kun je er tijdelijk een andere grafische kaart insteken en de BIOS update uitvoeren?

Sluit nog geen extra's aan, start zo kaal mogelijk (geen NVMe, standaard ATX voeding).

Je noemt SODIMM geheugen in het lijstje, dat kan niet kloppen (past niet) er moeten gewone DIMM's in. Het merk Crucial op zich zou geen probleem moeten zijn (heb ik getest). Die revisie versie zou ook geen probleem moeten zijn.

[Psychsome]

FireDrunk schreef op dinsdag 28 november 2023 @ 17:07:
Heb je het BIOS al een keer gereset? en gebruik je de goede DisplayPort? (Of probeer eens een andere )
Ook zeg je in je eerste post G6900, maar je linked een 13500, welke is het?

Overigens kan het best even duren voordat je bord start als je er net power op zet ivm iAMT die start (hoewel dat ook weer niet super lang duurt).

Er zit nu een G6900 in om tot de boot te komen zodat ik de bios kan updaten naar support voor 13th gen.
Ik heb t aangepast in de post.

Verwijderen van CMOS batterij ook al n paar keer geprobeerd, voor zover ik in de schaarse documentatie kon vinden is er geen losse CMOS reset jumper.

Alle DP aansluitingen van 1-4 ook al geprobeerd, tevens n ander display.

[Mars Warrior]

@Psychsome , zie Update 1…

Mars Warrior in "Het grote zuinige server topic - deel 3"

Ook ik had geen beeld, tot Update 1 dus…
Wie weet werkt dat bij jou ook!

En zonder RAM en SSD moet je dus in de BIOS kunnen komen.

[HotSpot79]

Ik zie dat je een picopsu gebruikt. Die zijn niet ge-aard. Dat kan soms problemen geven met het video signaal. Sluit eens een gewone atx voeding aan.

Ik heb een b550 amd board en ook die start soms op zonder beeld en lijkt dan te hangen in bios. Doe ik er een andere pico psu in totaal geen problemen. Maar bij die 150/160W versie dus wel.

[ Voor 6% gewijzigd door HotSpot79 op 28-11-2023 19:45 ]

[Psychsome]

@Mars Warrior
Even vaag als bij jou, cmos dr uit gehaald ,vervolgens dr in en opstarten.... niets.
Een paar keer systeem grof aan en uit gezet .... nog niets.
Als een bezetene de display stekker in en uit verschillende DP porten.. voila beeld.

Bios viel mee R1.2.0, herkende geheugen en SSD gelijk.

en na een update naar R2.6.0 weer het zelfde, geen beeld, geen post.

[ Voor 15% gewijzigd door Psychsome op 28-11-2023 22:35 ]

[Mars Warrior]

Lekker is dat: gebruik je als ZFS adept ZFS om silent data corruption te detecteren, zorgt ZFS zelf voor silent data corruption

Een collgea van mij is zo een hele bups aan foto’s kwijtgeraakt

Leermomentje: maak backups en bewaar deze een tijdje. Zijn enige externe backup was meer een sync zonder historie. Dus ook de foto’s in de backup waren corrupt.

Programmeren is en blijft mensenwerk

[Mars Warrior]

Psychsome schreef op dinsdag 28 november 2023 @ 21:53:
@Mars Warrior
Even vaag als bij jou, cmos dr uit gehaald ,vervolgens dr in en opstarten.... niets.
Een paar keer systeem grof aan en uit gezet .... nog niets.
Als een bezetene de display stekker in en uit verschillende DP porten.. voila beeld.

Bios viel mee R1.2.0, herkende geheugen en SSD gelijk.

en na een update naar R2.6.0 weer het zelfde, geen beeld, geen post.

Lekker vaag probleem. Haarscheurtje in mobo, of toch een aardingsprobleem?

Ik gebruik een ATX voeding (de beroemde RM550x), dus geen ervaring met de verschillende Pico’s.

[Mich]

Psychsome schreef op dinsdag 28 november 2023 @ 21:53:
@Mars Warrior
Even vaag als bij jou, cmos dr uit gehaald ,vervolgens dr in en opstarten.... niets.
Een paar keer systeem grof aan en uit gezet .... nog niets.
Als een bezetene de display stekker in en uit verschillende DP porten.. voila beeld.

Bios viel mee R1.2.0, herkende geheugen en SSD gelijk.

en na een update naar R2.6.0 weer het zelfde, geen beeld, geen post.

Ik had na de update ook het probleem dat hij mijn celeron CPU (12th gen) niet meer leek te herkennen ofzo. Toen gewisseld voor mijn i5 (13th gen) en startte gelijk goed op. Nooit meer aandacht aan besteed en of het toeval is weet ik ook niet.

[RobertMe]

Mars Warrior schreef op woensdag 29 november 2023 @ 17:13:
Lekker is dat: gebruik je als ZFS adept ZFS om silent data corruption te detecteren, zorgt ZFS zelf voor silent data corruption

Een collgea van mij is zo een hele bups aan foto’s kwijtgeraakt

Leermomentje: maak backups en bewaar deze een tijdje. Zijn enige externe backup was meer een sync zonder historie. Dus ook de foto’s in de backup waren corrupt.

Programmeren is en blijft mensenwerk

Note: het is wel een nieuwe feature en niet puur "ZFS". Ja, uiteraard is het ZFS die voor de corruptie zorgt, maar dit heeft te maken met een nieuwe algemenere feature, "reflinks". En die feature wordt weer alleen toegepast op nieuwe coreutils versies?

Naast dat het alleen beschikbaar is in ZFS 2.2 (voor zover ik weet) en die versie toch wel aardig nieuw is (~1 maand oud?) en in nog geen enkele "stable" distro te vinden is? (uiteraard wel in rolling release distros)

En of het een silent data corruption is valt denk ik ook over te twisten Dat is toch een term die AFAIK voornamelijk gebruikt wordt in de vorm van data on disk die ineens corrupt is (door bv bad sectors). En dat is hier dus niet aan de orde. Alleen dacht ZFS dat die een reeks 0-en (/NUL bytes) moest wegschrijven, en dat heeft die prima gedaan en daarover de checksum berekend en opgeslagen. Als er een data corruption in die reeks met 0-en zou sluipen dan zal ZFS dat prima detecteren.

Overigens maakt dat het (in totaliteit) niet minder erg. Maar het is niet alsof ineens 90% van de ZFS gebruikers hier tegenaan loopt. De meeste zullen niet deze ZFS versie draaien, en als het al via een backport in een "stable" installatie is beland dan vermoed ik dat daar weer niet die nieuwe coreutils in zit en het dus (AFAIK) nog niet zou optreden. Waarbij het dus ook gedeeltelijk valt onder "risico als je altijd nieuwste van het nieuwste draait". Het zal vaak goed gaan, en in de overige gevallen vaak bij een probleem niet ernstig zijn. Totdat het zoals nu dus wel corrupte data oplevert.

[Remc0_]

RobertMe schreef op woensdag 29 november 2023 @ 18:20:
[...]

Note: het is wel een nieuwe feature en niet puur "ZFS". Ja, uiteraard is het ZFS die voor de corruptie zorgt, maar dit heeft te maken met een nieuwe algemenere feature, "reflinks". En die feature wordt weer alleen toegepast op nieuwe coreutils versies?

Naast dat het alleen beschikbaar is in ZFS 2.2 (voor zover ik weet) en die versie toch wel aardig nieuw is (~1 maand oud?) en in nog geen enkele "stable" distro te vinden is? (uiteraard wel in rolling release distros)

En of het een silent data corruption is valt denk ik ook over te twisten Dat is toch een term die AFAIK voornamelijk gebruikt wordt in de vorm van data on disk die ineens corrupt is (door bv bad sectors). En dat is hier dus niet aan de orde. Alleen dacht ZFS dat die een reeks 0-en (/NUL bytes) moest wegschrijven, en dat heeft die prima gedaan en daarover de checksum berekend en opgeslagen. Als er een data corruption in die reeks met 0-en zou sluipen dan zal ZFS dat prima detecteren.

Overigens maakt dat het (in totaliteit) niet minder erg. Maar het is niet alsof ineens 90% van de ZFS gebruikers hier tegenaan loopt. De meeste zullen niet deze ZFS versie draaien, en als het al via een backport in een "stable" installatie is beland dan vermoed ik dat daar weer niet die nieuwe coreutils in zit en het dus (AFAIK) nog niet zou optreden. Waarbij het dus ook gedeeltelijk valt onder "risico als je altijd nieuwste van het nieuwste draait". Het zal vaak goed gaan, en in de overige gevallen vaak bij een probleem niet ernstig zijn. Totdat het zoals nu dus wel corrupte data oplevert.

Nou bij de rolling release distros was anders zeker wat gevloek te horen aangezien dit gewoon een stable release was van ZFS. Bovendien is er ook ruzie tussen contributors dus helemaal lekker gaat het niet.

[GoBieN-Be]

De bug zit al in ZFS sinds versie 0.6.x maar was nu makkelijker te triggeren i.c.m. coreutils > 9.
Blockcloning was dus niet de oorzaak.
Was interessant om de issue eens door te lezen.

[Mars Warrior]

Remc0_ schreef op woensdag 29 november 2023 @ 19:53:
[...]
Nou bij de rolling release distros was anders zeker wat gevloek te horen aangezien dit gewoon een stable release was van ZFS. Bovendien is er ook ruzie tussen contributors dus helemaal lekker gaat het niet.

Hij gebruikt Unraid. Geen idee of het dan om zfs 2.1 of 2.2 gaat. Het is wel zo dat de laatste Unraid versie een mitigatie heeft voor dit probleem.

Hij heeft overigens nog geen idee hoeveel TB nu corrupt is geraakt. Lijkt me echt knudde.

[RobertMe]

Remc0_ schreef op woensdag 29 november 2023 @ 19:53:
[...]


Nou bij de rolling release distros was anders zeker wat gevloek te horen aangezien dit gewoon een stable release was van ZFS. Bovendien is er ook ruzie tussen contributors dus helemaal lekker gaat het niet.

En dat is ook allemaal 100% begrijpelijk. Alleen is was mijn idee dat dit echt alleen optreed met ZFS 2.2 en coreutils 9. En in ieder geval ZFS 2.2 is zo nieuw dat dit gevoelsmatig nog niet in stable distros zat. Maar alleen in rolling release (en semi bleeding edge). Dus een Gentoo of Arch Linux. Maar niet een Debian, RHEL, Ubuntu (LTS) die maar elke ~2 jaar een stable release doen, geen/weinig updates doen (alleen fixes backporten) en normaliter weken / maanden voor release een freeze hebben. En met (bleeding edge) rolling release is er gewoon altijd een risico dat je tegen bugs aan loopt. En ja, deze is dan natuurlijk nogal erg catastrofaal.

Dat is ook de rede waarom ik op mijn server (& router) Debian stable draai, terwijl ik op mijn PC/laptop/... wel Arch draai. Ik wil geen een zo klein mogelijk risico lopen op dat updates iets stuk maken.

GoBieN-Be schreef op woensdag 29 november 2023 @ 20:14:
De bug zit al in ZFS sinds versie 0.6.x maar was nu makkelijker te triggeren i.c.m. coreutils > 9.
Blockcloning was dus niet de oorzaak.
Was interessant om de issue eens door te lezen.

Dat is dan wel een serieus probleem. En voor mij een reden om er een dezer dagen even in te duiken en de fix/workaround toe te passen. Met of zonder updated coreutils waarbij het (mogelijk) eerder optreed.

Mars Warrior schreef op woensdag 29 november 2023 @ 20:15:
[...]

Hij gebruikt Unraid. Geen idee of het dan om zfs 2.1 of 2.2 gaat. Het is wel zo dat de laatste Unraid versie een mitigatie heeft voor dit probleem.

Mitigatie is AFAIK het uitschakelen van een ZFS feature, meer een workaround dus.
Overigens zou ik zelf ook Unraid graag als "rock solid" bestempelen. Ik weet niet of ze zich zo "verkopen" (ala een Debian stable) maar lijkt mij toch ook een smet op hun naam. Maar tegelijkertijd (/tijdens typen van deze post) bedenk ik mij gelezen te hebben dat Proxmox 9.1 in ieder geval ook de update naar ZFS 2.2 heeft gedaan, en ook daarvan zou ik verwachten / hopen dat ze hun eigen quality control doen (of op zijn minst enterprise achter loopt op "free" en laatstgenoemde de quality control is).

Hij heeft overigens nog geen idee hoeveel TB nu corrupt is geraakt.

AFAIK is het niet echt corrupt "geraakt". Het wegschrijven gaat fout, en het checksummen gaat over de foute data. Dus alles wat is opgeslagen en in orde is zal dat ook blijven. Wat ik zijdelings heb meegekregen (vorige week) is dat het semi beperkt is tot kopieer acties? En data die eenmaal correct is weggeschreven is ook over bij wijze van 5 jaar nog in orde. Het is geen "spontane" data loss waarbij data corrupt raakt na verloop van tijd door gewijzigde code / "onderhoud" aan het filesystem / .... En door Copy-on-Write zouden snapshots die met de juiste data zijn weggeschreven ook "veilig" zijn. Dus bij: bestand okay opslaan => snapshot => copy waarbij corruptie optreed (=> verwijder origineel) zou de file in het snapshot nog in orde moeten zijn.

Lijkt me echt knudde.

Dat is het zeer zeker. Al helemaal als er echt geen werkende backup is (geen snapshot met niet corrupte file etc). En ook omdat voor mijn gevoel Unraid "stable* zou moeten zijn (en "stable"/"oud"/" proven to work" zou moeten prefereren boven nieuw / fanxy features / ...).

[GewoonWatSpulle]

Ik heb mijn eigen advies van een paar posts geleden lekker in de wind geslagen en besloten dat het toch tijd is voor nieuw speelgoed!

Het is een heuze aliexpress.com: Firebat T8 Plus met ark.intel.com: Intel N100, 16GB LPDDR5-4800 en 512GB SSD geworden. Ben ook nog benieuwd naar het type SSD, SATA vs. NVMe maar specs. wise zal het vast geen hoogvlieger zijn.

Zowel singlecore (meest nuttige voor mij) en multicore moet het een goed sprongetje zijn én zuiniger dan mijn huidige www.cpubenchmark.net: Intel N100 vs. Xeon E3-1260L. Ik ben alleen nog wel op zoek naar een goede 12V 2A adapter, want de bijgesloten variant herken ik van een ander mini PCtje (N4505) en die werd best warm en kan niet heel efficient geweest zijn.

Mijn Brennenstuhl ligt klaar samen met een hele set benchmarks, hier nog ideën of interesse in informatie over deze mini PC?

[FireDrunk]

Proxmox VE 8.1 gebruikt ZFS 2.2.... Dat is dus even oppassen.


@GewoonWatSpulle Damn, das best cheap!

[RobertMe]

FireDrunk schreef op woensdag 29 november 2023 @ 21:55:
Proxmox VE 8.1 gebruikt ZFS 2.2.... Dat is dus even oppassen.

In het Proxmox topic las ik net dan weer dat die intussen een updated kernel hebben (in test & no-subscription) met één enkele backported patch die het "zou moeten oplossen" (merged bij OpenZFS, in afwachting van een stable 2.2.2 release). Waarbij er een reproducer testscript is dat volgens hun "succesvol" is (dus geen fout oplevert, waar dat op de PVE 8.1 release wel gebeurt).

Daarnaast meen ik dat ze de workaround m.b.t. de module (/kernel) flag ook hadden toegepast in 8.1. Maar geen idee of die het ook daadwerkelijk voorkomt. Want die flag las ik van toen het naar mijn idee nog alleen over 2.2 ging, en niet 0.6+ .

[GewoonWatSpulle]

@FireDrunk yep en dan te bedenken dat ik er slechts € 133,- voor betaald heb daar kon geen Asrock N100DC tegen op!

[GoBieN-Be]

RobertMe schreef op woensdag 29 november 2023 @ 22:00:
[...]

Daarnaast meen ik dat ze de workaround m.b.t. de module (/kernel) flag ook hadden toegepast in 8.1. Maar geen idee of die het ook daadwerkelijk voorkomt. Want die flag las ik van toen het naar mijn idee nog alleen over 2.2 ging, en niet 0.6+ .

De conclusie was wel dat de bug vroeger zo goed als onmogelijk voorviel. En ook nu met updated coreutils en blockcloning was het nog zeldzaam.

[andru123]

Mich schreef op woensdag 29 november 2023 @ 17:55:
Ik had na de update ook het probleem dat hij mijn celeron CPU (12th gen) niet meer leek te herkennen ofzo. Toen gewisseld voor mijn i5 (13th gen) en startte gelijk goed op. Nooit meer aandacht aan besteed en of het toeval is weet ik ook niet.

Goed idee om aan Kontron te rapporteren. Lijkt dat er is een bug zit in BIOS.

[FireDrunk]

GewoonWatSpulle schreef op woensdag 29 november 2023 @ 22:37:
@FireDrunk yep en dan te bedenken dat ik er slechts € 133,- voor betaald heb daar kon geen Asrock N100DC tegen op!

Natuurlijk nog wel hopen dat je geen inklaring + btw bij aankomst krijgt. Dan wordt hij iets duurder.

[Ozzie]

FireDrunk schreef op donderdag 30 november 2023 @ 08:25:
[...]

Natuurlijk nog wel hopen dat je geen inklaring + btw bij aankomst krijgt. Dan wordt hij iets duurder.

Bij mijn Beelink kwam dat uit op 9 euro. Nou was de prijs die op de verpakking stond wel 14,95 ipv 149,50 dus daar hebben ze ook BTW over gerekend.

[maxoss]

GewoonWatSpulle schreef op woensdag 29 november 2023 @ 22:37:
@FireDrunk yep en dan te bedenken dat ik er slechts € 133,- voor betaald heb daar kon geen Asrock N100DC tegen op!

Ik heb hem ook gekocht. Zat eerst ook aan de N100DC te denken maar voor deze prijs het proberen waard