Het grote zuinige server topic - deel 3

[Mich]

Mars Warrior schreef op zondag 19 januari 2025 @ 19:57:
Grafiekjes

[Afbeelding]

[Afbeelding]


[Afbeelding]

En de code die deze data oplevert (hard gecodeerd voor de 13900K met 8P en 16E cores):

Bash:

#!/bin/bash

# Output file
OUTPUT_FILE="cpu_power_results.csv"
echo "P-Freq, E-Freq,Package Power (W)" > "$OUTPUT_FILE"

# Identify P-cores and E-cores. Hard-coded for 13900K
P_CORES=(0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15)
E_CORES=(16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31)

# Define frequency levels to test
FREQUENCY_LEVELS=(2000000 2250000 2500000 2750000 3000000 3100000 3200000 3300000 3400000 3500000 3600000 3700000 3800000 3900000 4000000 4300000)

# Function to set maximum frequency for a core
function set_max_freq() {
    CORE_ID=$1
    FREQ_ID=$2
    echo "$FREQ_ID" > "/sys/devices/system/cpu/cpu${CORE_ID}/cpufreq/scaling_max_freq"
}

# Function to measure package power using RAPL
function measure_power() {
    local ENERGY_START=$(cat /sys/class/powercap/intel-rapl:0/energy_uj)
    local TIME_START=$(date +%s.%N)  # Record the precise start time

    # Run stress-ng for a defined duration
    stress-ng --cpu 0 --timeout 10s > /dev/null 2>&1

    local ENERGY_END=$(cat /sys/class/powercap/intel-rapl:0/energy_uj)
    local TIME_END=$(date +%s.%N)  # Record the precise end time

    # Calculate energy consumed (in Joules)
    local ENERGY_CONSUMED=$(echo "scale=6; ($ENERGY_END - $ENERGY_START) / 1000000" | bc)

    # Calculate duration (in seconds)
    local TIME_DIFF=$(echo "$TIME_END - $TIME_START" | bc)

    # Calculate power (Watts)
    local POWER=$(echo "scale=6; $ENERGY_CONSUMED / $TIME_DIFF" | bc)
    echo "$POWER"
}

# Test each frequency level for P-cores and E-cores
for FREQ in "${FREQUENCY_LEVELS[@]}"; do
    for COREP in "${P_CORES[@]}"; do
        set_max_freq $COREP $FREQ
    done

    for FREQ2 in "${FREQUENCY_LEVELS[@]}"; do
        for COREE in "${E_CORES[@]}"; do
            set_max_freq $COREE $FREQ2
    done
    POWER=$(measure_power)
    echo "$FREQ,$FREQ2,$POWER" >> "$OUTPUT_FILE"
    done
done

En wat is je conclusie in geschreven woord? Dat rond de 2.8 en 3 GHz een goed punt is om je cores op te begrenzen?

[Room42]

Mars Warrior schreef op maandag 20 januari 2025 @ 09:19:
[...]

K3s klinkt lichter, maar is gewoon k8s qua load: reken met 10% cpu load per core in “idle”. Minder is meegenomen ook de I/O load kan zeer hoog zijn afhankelijk van keuzes. Ik kreeg voorheen in een VM 100% load voor elkaar op mijn ssd…

Natuurlijk zien we jouw praktijkmetingen met nieuwsgierigheid tegemoet. Wie weet is er wat veranderd in de kern van k3s die eindelijk eens echt idle is…

Zie: https://docs.k3s.io/refer...ource-utilization-drivers

Interessant. Dit ga ik eens verder onderzoeken in VM's. Ze geven aan dat het toevoegen van extra nodes de CPU load verlaagt, maar ik vraag me af of dat alleen op die ene node is, of in het totaal. Dat laatste lijkt me onwaarschijnlijk.

Verder nog een mening over mijn shortlist? Met het zien van het verschil van DDR5 overweeg ik nou voor de uitvoering: Shuttle XPC slim DL30N te gaan. Het enige is dat ie een M.2 (PCI-e 3.0 x2 + SATA) heeft.

[Boullie]

Zit er aan te denken om mijn huidige setup te gaan upgraden. Ben de server ondertussen voor wat zwaardere dingen gaan gebruiken zoals modded minecraft en wil toch wat meer oemph.
Zat te kijken naar dat CWWK Nas moederbord met 8 SATA en 3 M.2 aansluitingen. Lijkt me wel redelijk futureproof en is ITX.
ITX is wel leuk omdat ik deze behuizing wil gaan printen.
Enige wat ik dan nog zoek is een zuinige SFX(L) voeding. Is die te krijgen voor een beetje normale prijs? Zag online al wel de SF850L van Corsair maar die kost gelijk 180 euro.

Huidige setup:

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Core i3-9100 Boxed	€ 0,-	€ 0,-
1	Moederborden	Fujitsu D3644-B	€ 0,-	€ 0,-
1	Interne harde schijven	Seagate Desktop HDD, 3TB	€ 99,-	€ 99,-
4	Interne harde schijven	WD Red Plus, 3TB (64MB cache)	€ 145,-	€ 580,-
1	Behuizingen	Nanoxia Deep Silence 4 (Dark Black)	€ 0,-	€ 0,-
1	Geheugen intern	Samsung M391A2K43BB1-CTD	€ 0,-	€ 0,-
1	Voedingen	Corsair RM550x (2021) Zwart	€ 0,-	€ 0,-
			Totaal	€ 679,-

Zit nu te kijken naar:

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Core i5-13500 Boxed	€ 211,99	€ 211,99
1	Geheugen intern	Crucial CT2K32G48C40U5	€ 170,55	€ 170,55
			Totaal	€ 382,54

+ dat CWWK 8-bay bordje voor €300,-.

Zit nog te kijken welke HDD's ik er in wil zetten. Neig naar 3x 20TB schijven vanuit de V&A of Datablocks.

[mrmrmr]

andru123 schreef op maandag 20 januari 2025 @ 07:02:
Ik weet niet of het een GaN adapter is. Staat nergens op.

Ik weet het ook niet, maar het lijkt er wel op gezien de hoge efficientie bij maximale belasting, gecombineerd met een sterker aflopende lijn bij lage belasting.

[Mars Warrior]

Mich schreef op maandag 20 januari 2025 @ 09:30:
[...]
En wat is je conclusie in geschreven woord? Dat rond de 2.8 en 3 GHz een goed punt is om je cores op te begrenzen?

Ik heb mijn grafiekjes aangepast: Mars Warrior in "Het grote zuinige server topic - deel 3"

Ik doe nu afwisselend een hoge en lage frequentie. Dan loop je niet tegen de beperkte PL2 tijd aan.
Je loopt nu gewoon tegen de Power Max van het Kontron bord aan: zo rond de 160W Package Power

Met de 12700K zag je al een scherpe knik bij de E-cores. Die knik lag net wat lager dan bij de 13900K. Daar heeft Intel de P/F curve aangepast en zou je dezelfde spanning nodig hebben voor 200Mhz meer.

De E-cores (16 totaal) gaan volgens de grafiek vanaf 3.2Ghz driemaal zoveel meer verbruiken.
In de nieuwe grafiek zie je bij een P-core max van 4Ghz en 3.2Ghz E-core een verbruik van 96W. Bij 3.8Ghz E-core is dat al opgelopen naar de 160W. Die 600Mhz kost voor de 16 E-cores dus 64W (64/96=67%) meer, waar de verwachte performance winst ca 0.6/3.2=18% is.

Waarschijnlijk (maar dat is nu ff niet te meten) is dat bij 4.3Ghz nog ongunstiger dan de 3.8Ghz in deze berekening.

Vergeet niet dat de PL2 van deze CPU op 251W staat, en de PL4 zelfs op 330W.

Ik heb de E-cores nog op een max van 2.5Ghz draaien. Kijk ik in de grafiek bij P-Core = 4Ghz, dan zie ik een toename in het verbruik van 88,3@2.5Ghz naar 94,2@3Ghz = 6W per 16 cores.
Dat is per core 6/16 = 0,375W. Ik vermoed dat ik de E-cores dus op 3Ghz ga laten lopen. Leuke prestatiewinst van 20%

[ Voor 10% gewijzigd door Mars Warrior op 20-01-2025 14:53 ]

[andru123]

@Mars Warrior kan je ook systeemverbruik meten naast een van de grafieken, dan weet je ook hoe efficient VRMs zijn, en hoe betrouwbaar de package power sensoren van Intel.

[pimlie]

Mars Warrior schreef op maandag 20 januari 2025 @ 14:47:
Ik doe nu afwisselend een hoge en lage frequentie. Dan loop je niet tegen de beperkte PL2 tijd aan.
Je loopt nu gewoon tegen de Power Max van het Kontron bord aan: zo rond de 160W Package Power

Ben nog bezig met dat scriptje, ben nu aan het toevoegen dat cpu's geheel offline kunnen worden gehaald om bv echt alleen P-cores te testen¹. Daarna wil ik bv ook kijken of er een verschil in verbruik is tussen een cpu offline halen en een cpu disablen in de bios, Zal er vanavond mee verder gaan.

De manier hoe ik nu test in het script is:
- stress-ng starten
- 1s wachten (rampup time zodat eea kan stabiliseren)
- energie meting 1
- 10s wachten
- energie meting 2
- kijken of de huidige klok frequentie daadwerkelijk de gevraagde klok frequentie is
- stress-ng stoppen

Waar ik zelf echter tegen aan liep gister was dat ik de hoogste turbo frequenties uberhaupt niet haal (max is 4.4Ghz en niet 4.8Ghz) en dat hogere klokfrequenties al na ~5s terug klokken naar 3.2Ghz.

Heb gister zitten zoeken of je ergens kan zien wat de huidige status/timeout van (thermal) throttling is van de cpu maar onder /sys/class/powercap/intel-rapl/intel-rapl\:0/ staan wel de constaints maar volgens mij niet of de constraint overschreden is of niet. Zal me dus nog wat verder moeten verdiepen in dat PL1/PL2 gebeuren...

¹ standaard is cpu0 niet hotpluggable, dus er is sowieso een caveat daarmee

[Jerie]

Mars Warrior schreef op zondag 19 januari 2025 @ 19:57:
Grafiekjes

[Afbeelding]

[Afbeelding]


[Afbeelding]

En de code die deze data oplevert (hard gecodeerd voor de 13900K met 8P en 16E cores):

Bash:

#!/bin/bash

# Output file
OUTPUT_FILE="cpu_power_results.csv"
echo "P-Freq, E-Freq,Package Power (W)" > "$OUTPUT_FILE"

# Identify P-cores and E-cores. Hard-coded for 13900K
P_CORES=(0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15)
E_CORES=(16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31)

# Define frequency levels to test
FREQUENCY_LEVELS=(2000000 2250000 2500000 2750000 3000000 3100000 3200000 3300000 3400000 3500000 3600000 3700000 3800000 3900000 4000000 4300000)

# Function to set maximum frequency for a core
function set_max_freq() {
    CORE_ID=$1
    FREQ_ID=$2
    echo "$FREQ_ID" > "/sys/devices/system/cpu/cpu${CORE_ID}/cpufreq/scaling_max_freq"
}

# Function to measure package power using RAPL
function measure_power() {
    local ENERGY_START=$(cat /sys/class/powercap/intel-rapl:0/energy_uj)
    local TIME_START=$(date +%s.%N)  # Record the precise start time

    # Run stress-ng for a defined duration
    stress-ng --cpu 0 --timeout 10s > /dev/null 2>&1

    local ENERGY_END=$(cat /sys/class/powercap/intel-rapl:0/energy_uj)
    local TIME_END=$(date +%s.%N)  # Record the precise end time

    # Calculate energy consumed (in Joules)
    local ENERGY_CONSUMED=$(echo "scale=6; ($ENERGY_END - $ENERGY_START) / 1000000" | bc)

    # Calculate duration (in seconds)
    local TIME_DIFF=$(echo "$TIME_END - $TIME_START" | bc)

    # Calculate power (Watts)
    local POWER=$(echo "scale=6; $ENERGY_CONSUMED / $TIME_DIFF" | bc)
    echo "$POWER"
}

# Test each frequency level for P-cores and E-cores
for FREQ in "${FREQUENCY_LEVELS[@]}"; do
    for COREP in "${P_CORES[@]}"; do
        set_max_freq $COREP $FREQ
    done

    for FREQ2 in "${FREQUENCY_LEVELS[@]}"; do
        for COREE in "${E_CORES[@]}"; do
            set_max_freq $COREE $FREQ2
    done
    POWER=$(measure_power)
    echo "$FREQ,$FREQ2,$POWER" >> "$OUTPUT_FILE"
    done
done

Ik heb deze gemodificeerd voor mijn 12900H

Hierbij gebruikte ik:

P_CORES=(0 1 2 3 4 5 6 7 8 9 10 11)
E_CORES=(12 13 14 15 16 17 18)

Voor je dit script draait, wil je trouwens eerst alle waardes uitlezen zoals ze zijn, om die vervolgens achteraf terug te zetten. Want anders eindigt iemand met veel MHz op de p-cores, en dat is een dure grap.

Ook wil je het op een idle systeem draaien, en ik vraag me af of 10 sec stress test genoeg data is? Ik zie namelijk bar weinig verschil in de data.

[FireDrunk]

Heeft iemand een screenshotje van Powertop op een modern 13/14th gen moederbord?
Ik zie maar tot C3 en daarna RC6pp op de eerste pagina van Powertop, maar weet even niet meer of dat zo hoort, In het tabje Frequency Stats staat alleen "Idle".

Ik denk dat ik geen C-States (meer) heb

[Mars Warrior]

pimlie schreef op maandag 20 januari 2025 @ 15:28:
[...]
Ben nog bezig met dat scriptje, ben nu aan het toevoegen dat cpu's geheel offline kunnen worden gehaald om bv echt alleen P-cores te testen¹. Daarna wil ik bv ook kijken of er een verschil in verbruik is tussen een cpu offline halen en een cpu disablen in de bios, Zal er vanavond mee verder gaan.

De manier hoe ik nu test in het script is:
- stress-ng starten
- 1s wachten (rampup time zodat eea kan stabiliseren)
- energie meting 1
- 10s wachten
- energie meting 2
- kijken of de huidige klok frequentie daadwerkelijk de gevraagde klok frequentie is
- stress-ng stoppen

Klinkt goed. Ik zal zelf nooit cores gaan uitschakelen op een draaiend systeem, aangezien de containers aan specifieke cores zijn toegewezen

Waar ik zelf echter tegen aan liep gister was dat ik de hoogste turbo frequenties uberhaupt niet haal (max is 4.4Ghz en niet 4.8Ghz) en dat hogere klokfrequenties al na ~5s terug klokken naar 3.2Ghz.

Welkom bij Intel waar slechts een paar cores de geadverteerde snelheid hoeven te halen.
Zowel op mijn 12700K als de 13900K zijn er maar een paar cores die de max. snelheid halen. De rest zit daar allemaal een beetje tot redelijk ver onder.

• 4 P-cores (core + HT) halen de 5.8Ghz
• 12 P-cores (core + HT) halen slechts de 5.5Ghz
• 16 E-cores zitten allemaal op 4.3Ghz

code:

CPU NODE SOCKET CORE L1d:L1i:L2:L3 ONLINE    MAXMHZ   MINMHZ      MHZ
  0    0      0    0 0:0:0:0           ja 5500,0000 800,0000  800.259
  1    0      0    0 0:0:0:0           ja 5500,0000 800,0000  800.000
  2    0      0    1 4:4:1:0           ja 5500,0000 800,0000  800.000
  3    0      0    1 4:4:1:0           ja 5500,0000 800,0000  800.000
  4    0      0    2 8:8:2:0           ja 5800,0000 800,0000  800.000
  5    0      0    2 8:8:2:0           ja 5800,0000 800,0000  800.000
  6    0      0    3 12:12:3:0         ja 5800,0000 800,0000 1100.011
  7    0      0    3 12:12:3:0         ja 5800,0000 800,0000 1099.567
  8    0      0    4 16:16:4:0         ja 5500,0000 800,0000  800.000
  9    0      0    4 16:16:4:0         ja 5500,0000 800,0000  800.000
 10    0      0    5 20:20:5:0         ja 5500,0000 800,0000 1094.301
 11    0      0    5 20:20:5:0         ja 5500,0000 800,0000  800.000
 12    0      0    6 24:24:6:0         ja 5500,0000 800,0000  800.000
 13    0      0    6 24:24:6:0         ja 5500,0000 800,0000  800.000
 14    0      0    7 28:28:7:0         ja 5500,0000 800,0000  800.000
 15    0      0    7 28:28:7:0         ja 5500,0000 800,0000  800.000
 16    0      0    8 32:32:8:0         ja 4300,0000 800,0000  800.000
 17    0      0    9 33:33:8:0         ja 4300,0000 800,0000  800.000
 18    0      0   10 34:34:8:0         ja 4300,0000 800,0000  800.000
 19    0      0   11 35:35:8:0         ja 4300,0000 800,0000 1100.013
 20    0      0   12 36:36:9:0         ja 4300,0000 800,0000 1079.446
 21    0      0   13 37:37:9:0         ja 4300,0000 800,0000 1100.485
 22    0      0   14 38:38:9:0         ja 4300,0000 800,0000 1092.879
 23    0      0   15 39:39:9:0         ja 4300,0000 800,0000 1099.242
 24    0      0   16 40:40:10:0        ja 4300,0000 800,0000 1099.333
 25    0      0   17 41:41:10:0        ja 4300,0000 800,0000 1008.052
 26    0      0   18 42:42:10:0        ja 4300,0000 800,0000  898.603
 27    0      0   19 43:43:10:0        ja 4300,0000 800,0000  919.334
 28    0      0   20 44:44:11:0        ja 4300,0000 800,0000  800.000
 29    0      0   21 45:45:11:0        ja 4300,0000 800,0000  800.000
 30    0      0   22 46:46:11:0        ja 4300,0000 800,0000  800.000
 31    0      0   23 47:47:11:0        ja 4300,0000 800,0000  960.526

Heb gister zitten zoeken of je ergens kan zien wat de huidige status/timeout van (thermal) throttling is van de cpu maar onder /sys/class/powercap/intel-rapl/intel-rapl\:0/ staan wel de constaints maar volgens mij niet of de constraint overschreden is of niet. Zal me dus nog wat verder moeten verdiepen in dat PL1/PL2 gebeuren...

Geen idee of dat zichtbaar is. Het Kontron mobo beperkt ook het vermogen dat de CPU krijgt tov aanvraagt.
In de grafieken zie ik 160W, maar eerder kwam ik tot een max van 170-180W. Kan zijn dat ik met de CPU wissel niet voldoende prut tussen CPU en koelblok heb gedaan.

Die 170-180W vertaalt zich naar circa 230W uit het stopcontact, zo'n 50W (28%) verlies dus.
Bij 100W PP zit ik rond de 130W uit het stopcontact, 30W (30%) verlies dus.

UIt eerdere metingen heb ik afgeleid dat rond de 80W PP de VRM's overschakelen van 1 naar meer: de verliezen nemen dan een stuk toe namelijk.

[ Voor 35% gewijzigd door Mars Warrior op 20-01-2025 16:34 ]

[andru123]

@Mars Warrior 30% verlies in VRM vind ik vrij hoog. Ik dacht VRMs efficiënter waren, ik herinner 90%-95% op gegevensblad van VRM controllers op Kontron board
Ah, en ik heb je oude post over VRMs gevonden. Vraag is dan inderdaad of je tegen VRM of CPU limiet aanloopt.

[Mars Warrior]

andru123 schreef op maandag 20 januari 2025 @ 17:12:
@Mars Warrior 30% verlies in VRM vind ik vrij hoog. Ik dacht VRMs efficiënter waren, ik herinner 90%-95% op gegevensblad van VRM controllers op Kontron board
Ah, en ik heb je oude post over VRMs gevonden. Vraag is dan inderdaad of je tegen VRM of CPU limiet aanloopt.

Leuk dat je die post heb weten op te duikelen: nu zie ik dat de 12700K ook niet verder dan 165W ging

Dus Kontron gaat gewoon niet verder, of mijn stille koeler heeft onvoldoende capaciteit om nog meer Wattjes af te voeren, oftewel de CPU gaat lekker throttelen vanaf dat punt.

Al met al voor mij niet echt belangerijk: de 12700K trok bij 100% belasting ca 85W uit het stopcontact. De 13900K doet nu met de E-cores op 3.1Ghz (ipv 2.5Ghz) 120W uit het stopcontact (89W PP)! Zit ik nog steeds dicht op die 75-85W grens waar de VRMs meer gaan gebruiken.

• Bij 2.5Ghz is het 80W PP om 110W uit het stopcontact. Het verhogen van de E-cores kost dus 9W PP / 10W uit het stopcontact. Dat is best wel aantrekkelijk te noemen.
• Bij 3.0Ghz is het 90W PP / 125W.
• Bij 3.2Ghz is het 92W PP / 127W.
• Bij 3.5Ghz is het 117W PP / 155W. Dat is plotseling een flinke stap dus omhoog!.
• En bij de 4.0Ghz is het 154W PP / 205W.

Des te warmer, des te meer wattjes zoals je ziet (de 3.1Ghz deed "koud" nog 120W namelijk).

En @andru123 er wordt nog meer stroom afgenomen dan enkel PP natuurlijk.
Neem 90W PP. VRms op 90% wordt dan al 100W. De RM550X op 90% is dan 111W. Dan mis ik nog 14W. Vziw neemt een VRM indien actief ook al 1W op, nog los van de verliezen. Met chipset, RAM en nog wat mobo zaken zal die 12W (14W stopcontact) zo ingevuld zijn.

[ Voor 37% gewijzigd door Mars Warrior op 20-01-2025 19:33 ]

[pimlie]

@Mars Warrior Had je https://github.com/horshack-dpreview/setPL al gezien? Wellicht kan je de power constraints nog tweaken.

[Mars Warrior]

Jerie schreef op maandag 20 januari 2025 @ 15:51:
[...]


Ik heb deze gemodificeerd voor mijn 12900H

Hierbij gebruikte ik:

P_CORES=(0 1 2 3 4 5 6 7 8 9 10 11)
E_CORES=(12 13 14 15 16 17 18)

Voor je dit script draait, wil je trouwens eerst alle waardes uitlezen zoals ze zijn, om die vervolgens achteraf terug te zetten. Want anders eindigt iemand met veel MHz op de p-cores, en dat is een dure grap.

Ook wil je het op een idle systeem draaien, en ik vraag me af of 10 sec stress test genoeg data is? Ik zie namelijk bar weinig verschil in de data.

Draai je wel als root?

[Jerie]

Mars Warrior schreef op maandag 20 januari 2025 @ 20:42:
[...]

Draai je wel als root?

Uiteraard, Proxmox.

[Mars Warrior]

Ik heb nog even wat dingen vergeleken tussen de 12700K en 13900K.

CPU	"Idle"	Crashplan op 1 core actief	Verschil
12700K	4.3W PP	7.4W PP op E-core@2.5Ghz	3.1W PP
13900K	3.5W PP	6.3W PP op E-core@3.2Ghz	2.8W PP

De 13900K is dus net wat zuiniger en efficienter, zeker als je ziet dat de E-cores op 3.2Ghz draaien.

Het zijn geen schokkende dingen: ik ga er niet rijk van worden of de 13900K ff in 1 maand terugverdienen, maar Intel heeft zijn best gedaan om de spanning op de cores iets te verlagen om zo een hogere frequentie te kunnen implementern (5.8Ghz vs 5Ghz) die dus ook effect heeft bij lagere frequenties!

Waarom er zo'n duidelijke knik te zien is in de efficientie van de E-cores bij 3.3Ghz is me niet duidelijk: alsof er ergens iets in de hardware zit dat deze knik veroorzaakt en een relatie heeft met de frequentie van de P-Cores: caches? ringbus?

De basis frequentie van de P-Cores is 3Ghz, en die van de E-Cores 2.2Ghz. Met 3.2Ghz staat de turbo dus al aan voor de E-Cores.

Volgens Guru3d - Core i9-13900K Early Review Indicates Significant Improvements in Comparison to the Core i9-12900K is er van 12 naar 13gen een IPC gain van 12% op de P-cores en 6% op de E-cores.

Volgens deze pagina draait de ringbus nu ook over de 4.6Ghz, waar deze voorheen naar 3.6Ghz kon zakken bij actievere E-Cores. Ook deze 4.6Ghz lijkt niks met het kantelpunt bij 3.3Ghz te maken te hebben.

Raadsels

Het raadsel waarom het Kontron mobo maar 8 E-Cores ziet is ook nog niet opgelost

[Jerie]

Hoe zit het met undervolting? Zou je dat ook kunnen testen? Ik zie in turbostat dat RAM nagenoeg geen W verbruikt, dus XMP e.d. hoeven we het dan denk ik ook niet over te hebben.

[Mars Warrior]

Jerie schreef op dinsdag 21 januari 2025 @ 13:13:
Hoe zit het met undervolting? Zou je dat ook kunnen testen? Ik zie in turbostat dat RAM nagenoeg geen W verbruikt, dus XMP e.d. hoeven we het dan denk ik ook niet over te hebben.

Bij Kontron is alles standaard: dus geen mogelijkheden om te under- of overvolten
De PL2 tijd kun je ook niet (meer) instellen, laat staan memory timings oid: gewoon standaard DDR5-4800 dus, of in mijn geval met 96GB RAM DDR5-4400/4000.

Ben al blij dat ze K CPU's ondersteunen, alleen dan niet tot de volledige all-core turbo snelheid: De VRMs bijv. zijn ongekoeld, dus gaan hem in mijn geval knijpen vanaf 160W PP.

Voor gebruik in een zuinige server allemaal geen probleem. Daar is vaak de laatste 10-20% performance niet nodig die juist voor exceptioneel verbruik zorgt.

DDR5 RAM is inderdaad geen grote verbruiker. De grootste blijft de CPU, gevolgd door de VRM's (eigen verbruik + verliezen) en uiteindelijk je voeding. En dat telt allemaal lekker op.

[Sypher]

Ik las in de startpost over de Kontron K3843-B:

ASPM werkt niet onder Linux op K3843-B in het eerste M.2 2280 slot naast de processor (package C state is dan laag). Gebruik het tweede M.2 slot naast de SATA aansluitingen.

Weet iemand of dit nog een probleem is? Aangezien ik voor mijn beoogde setup beide slots wil gaan gebruiken. Ik zag in een BIOS release note van R2.5.0 dat er wel iets veranderd is mbt ASPM en SSD1:

Fixed: M.2 Key-M (SSD1) wrong defaults for ASPM L1 sub states

maar dit is alleen voor het K3833-Q bord

[andru123]

@Mars Warrior met K processor je kan proberen undervolten met Intel Extreme Tuning utility of met Throttlestop tool. Beide zijn Windows tools. Trouwens, staat Turboboost SpeedShift/Step aan?

[Mars Warrior]

Sypher schreef op dinsdag 21 januari 2025 @ 14:45:
Ik las in de startpost over de Kontron K3843-B:
[...]
Weet iemand of dit nog een probleem is? Aangezien ik voor mijn beoogde setup beide slots wil gaan gebruiken. Ik zag in een BIOS release note van R2.5.0 dat er wel iets veranderd is mbt ASPM en SSD1:
[...]
maar dit is alleen voor het K3833-Q bord

Ik heb geen idee. Met BIOS R1.x was dit zeker nog het geval, maar of dit met BIOS R2.x nog zo is weet ik niet, dat heb ik niet meer lopen testen na de upgrade van R1.4 naar R2.16.

Vanzelfsprekend werkt het slot wel, maar het kost je een aantal Watts omdat de CPU niet meer in een hoge C-state kan (of kon) komen.

[Mars Warrior]

andru123 schreef op dinsdag 21 januari 2025 @ 14:47:
@Mars Warrior met K processor je kan proberen undervolten met Intel Extreme Tuning utility of met Throttlestop tool. Beide zijn Windows tools. Trouwens, staat Turboboost SpeedShift/Step aan?

Mijn server draait onder Ubuntu

Vanzelfsprekend staat Turboboost aan, anders zouden de cores niet boven de 3Ghz en 2.2Ghz komen. Dat zou wel een beetje heel zonde zijn van zo'n CPU. Ik limiteer simpelweg de max. frequency per core, dus kan op die manier de balans tussen verbruik en performance zelf regelen.

[andru123]

Zit je nog in ontdekking fase, die tools zijn te leuk om niet uit te proberen windows install duurt maar half uurtje, dan weet je zeker, en kan ook de beruchte Thread director in actie zien (alle achtergrond taken draaien op E cores automatisch) @Mars Warrior
Trouwens jouw post over je VRM efficiëntie gevonden Mars Warrior in "Het grote zuinige server topic - deel 3"

[ Voor 24% gewijzigd door andru123 op 21-01-2025 17:06 ]

[bjp]

ik ben wel fan geweest van overclocking en/of undervolting in het verleden, maar op mijn 'server' wil ik dat toch echt niet!

ik wil iets super stabiel.

En voor IDLE/standby, weet ik niet of het zoveel gaat uitmaken (ok lek-verliezen schalen wel met de spanning in electronica, maar ook heel veel met temperatuur of process variatie - "PVT").

Maar wat leuk zou zijn, is weten welke Core spanning gebruikt wordt bij welke frequentie - dan kan je "op tijd" beperken om de totale energiekost te optimaliseren (en kom je al snel tot de conclusie: de Turbo afzetten!).

[Mars Warrior]

bjp schreef op dinsdag 21 januari 2025 @ 16:01:
ik ben wel fan geweest van overclocking en/of undervolting in het verleden, maar op mijn 'server' wil ik dat toch echt niet!

ik wil iets super stabiel.

En voor IDLE/standby, weet ik niet of het zoveel gaat uitmaken (ok lek-verliezen schalen wel met de spanning in electronica, maar ook heel veel met temperatuur of process variatie - "PVT").

Maar wat leuk zou zijn, is weten welke Core spanning gebruikt wordt bij welke frequentie - dan kan je "op tijd" beperken om de totale energiekost te optimaliseren (en kom je al snel tot de conclusie: de Turbo afzetten!).

Ik zie nu indirect dat de spanning waarschijnlijk omhoog gaat als de Package Power plotseling sterk stijgt bij het ophogen van de frequentie met 50Mhz rond het kantelpunt van 3.3Ghz bij de E-Cores.

Maar het zou dan wel leuk zijn om de spanning te kunnen zien als mogelijke bevestiging dat die "plotseling" een stuk hoger wordt gezet, en daarna ook in stapjes steeds hoger gaat bij toenemende frequenties.

Aan de andere kant: veranderen kan ik het niet, dus het is wat het is en vooralsnog ben ik tevreden.
Als het Kontron probleem (8 E-cores zichtbaar in BIOS ipv de verwachting van 16) ook nog opgelost kan worden dan ben ik helemaal blij omdat een eerdere stap van 4 naar 8 E-Cores al een verlaging van het vermogen uit het stopcontact tot gevolg had (2W).

[andru123]

@bjp hwinfo of intel tools laten dat alles zien, de spanningen, freq. en ook de package power.
Undervolten kan wel zin hebben met hogere CPU modellen (betere kwaliteit), waar vroeger tests van tweakers toonde dat het wel aanzienlijk energie verlagen.
Bij mijn i3 heeft undervolten weinig effect, maar maakt onstabiel.

[ Voor 11% gewijzigd door andru123 op 21-01-2025 17:03 ]

[HotSpot79]

Mars Warrior schreef op dinsdag 21 januari 2025 @ 15:06:
[...]

Ik heb geen idee. Met BIOS R1.x was dit zeker nog het geval, maar of dit met BIOS R2.x nog zo is weet ik niet, dat heb ik niet meer lopen testen na de upgrade van R1.4 naar R2.16.

Vanzelfsprekend werkt het slot wel, maar het kost je een aantal Watts omdat de CPU niet meer in een hoge C-state kan (of kon) komen.

Ik heb een k3842-q2 board met r2.16. Een samsung 980 in ssd1 en een asm1166 in ssd2. Ik geraak netjes in C10 met enkel deze hardware en dan haal ik netjes 4W idle (gemeten met ShellyPlugS).

Met een ACQ100 10gbe haal ik dan 5 W idle. Super getallen zou ik zeggen.

Ohja met een i5 13500 als cpu en 2x 48GB Crucial Pro

[ Voor 3% gewijzigd door HotSpot79 op 21-01-2025 17:02 ]

[mrmrmr]

@HotSpot79
Interessant, C10 is hoog voor een systeem met een ASM1166, ging dat vanzelf of moest er iets voor worden aangepast?

Nieuwsgierig als ik ben heb ik nog meer vragen:

In welke (M.2) sockets heb je de SSD en ASM1166? Welk ASM1166 kaartje is het?

Wat is het verbruik zonder ASM1166? Ik ben benieuwd of de K3842-Q2 minder verbruikt met maar 2x SATA.

Wat is ACQ100 10gbe?

Van ShellyPlugS heb ik geen nauwkeurigheidstest gevonden. Reviews gaan vooral over allerlei andere zaken zoals grafieken en communicatie. Ik zie overigens wel veel gesmolten stekkers online, maar dat is bij zware belasting.

[RobertMe]

mrmrmr schreef op dinsdag 21 januari 2025 @ 17:39:
Wat is ACQ100 10gbe?

Dat vroeg ik mij ook af, en ik vermoed dat het om de AQN-100 gaat. 10Gbe netwerkcontroller van Marvell.

[HotSpot79]

RobertMe schreef op dinsdag 21 januari 2025 @ 17:47:
[...]

Dat vroeg ik mij ook af, en ik vermoed dat het om de AQN-100 gaat. 10Gbe netwerkcontroller van Marvell.

Correct, het is de AQN 100 van Marvell. Deze heeft wel aspm support. Al hoewel ik het wel handmatig moet activeren.

De asm1166 zit in de ssd2 die vanuit de chipset. De samsung zit in ssd1 aan de CPU.

Met alleen de samsung 980 in ssd1, haal ik 3 W.

[FireDrunk]

Na wat stoeien ben ik er achter waarom ik maar tot C3 zie in PowerTOP, blijkbaar moet je voor een 13th of 14th gen CPU PowerTOP versie 2.15 hebben, en ik draai Debian 12, daar is versie 2.14 de laatste versie...

Handmatig installeren gaat niet, dat is een halve OS upgrade (naar testing) helaas...

[Kanarie]

FireDrunk schreef op dinsdag 21 januari 2025 @ 18:45:
Na wat stoeien ben ik er achter waarom ik maar tot C3 zie in PowerTOP, blijkbaar moet je voor een 13th of 14th gen CPU PowerTOP versie 2.15 hebben, en ik draai Debian 12, daar is versie 2.14 de laatste versie...

Handmatig installeren gaat niet, dat is een halve OS upgrade (naar testing) helaas...

code:

apt install build-essential git libtracefs-dev
git clone https://github.com/fenrus75/powertop.git
cd powertop
./autogen.sh
./configure
make
sudo make install

[HotSpot79]

FireDrunk schreef op dinsdag 21 januari 2025 @ 18:45:
Na wat stoeien ben ik er achter waarom ik maar tot C3 zie in PowerTOP, blijkbaar moet je voor een 13th of 14th gen CPU PowerTOP versie 2.15 hebben, en ik draai Debian 12, daar is versie 2.14 de laatste versie...

Handmatig installeren gaat niet, dat is een halve OS upgrade (naar testing) helaas...

Een truc is om de testing Repo tijdelijk toe te voegen en dan

Apt update

En dan powertop uit de testing alleen installeren. Het werkt maar of het allemaal veilig is, denk het niet. Daarom bouw ik powertop vanuit de github Repo op debian 12.

[Mars Warrior]

HotSpot79 schreef op dinsdag 21 januari 2025 @ 18:40:
[...]
Correct, het is de AQN 100 van Marvell. Deze heeft wel aspm support. Al hoewel ik het wel handmatig moet activeren.

De asm1166 zit in de ssd2 die vanuit de chipset. De samsung zit in ssd1 aan de CPU.

Met alleen de samsung 980 in ssd1, haal ik 3 W.

Oke. Dat klinkt mooi, als in: gefixed. Ik kreeg met een Intel 670p met geen mogelijkheid 3W voor elkaar. Wel dus in het tweede slot aan de chipset.

[FireDrunk]

HotSpot79 schreef op dinsdag 21 januari 2025 @ 18:47:
[...]

Een truc is om de testing Repo tijdelijk toe te voegen en dan

Apt update

En dan powertop uit de testing alleen installeren. Het werkt maar of het allemaal veilig is, denk het niet. Daarom bouw ik powertop vanuit de github Repo op debian 12.

Dat heb ik geprobeerd, maar daarmee wilde hij een halve libc upgrade gaan doen vanuit testing.
2.15 depend op libstdc++ 13 (waar ik nog 12 heb), en dat trekt weer een hele andere sloot aan dependencies mee.


Ik ga even vanaf source proberen te compilen, misschien dat dat wel werkt.

[HotSpot79]

Kanarie schreef op dinsdag 21 januari 2025 @ 18:47:
[...]

code:

apt install build-essential git
git clone https://github.com/fenrus75/powertop.git
cd powertop
./autogen.sh
./configure
make
sudo make install

Je hebt ook nog de libtracefs en een andere package nodig. Ik heb het zo niet bij de hand.

[FireDrunk]

ncurses en libtracefs idd.
Maar helaas:

configure: error: libtracefs is required but was not found
thijs@nas:~/powertop/powertop$ sudo apt search libtracefs
Sorting... Done
Full Text Search... Done
libtracefs-dev/stable,stable,now 1.6.4-1 amd64 [installed]
  API to access the kernel tracefs directory (development files)

libtracefs-doc/stable,stable,now 1.6.4-1 all [installed]
  API to access the kernel tracefs directory (documentation)

libtracefs1/stable,stable,now 1.6.4-1 amd64 [installed]
  API to access the kernel tracefs directory (shared library)

[bjp]

er staat [installed] naast, dus toch goed?

[ Voor 5% gewijzigd door bjp op 21-01-2025 19:03 ]

[FireDrunk]

bjp schreef op dinsdag 21 januari 2025 @ 19:02:
er staat [installed] naast, dus toch goed?

Correct, maar toch wil hij niet compilen, dus ik gok een versie issue.

[bjp]

bij mij werkte compilatie met die versie, ik heb deze ook zelf gebouwd op proxmox paar maanden terug.

[mrmrmr]

FireDrunk schreef op dinsdag 21 januari 2025 @ 18:45:
Na wat stoeien ben ik er achter waarom ik maar tot C3 zie in PowerTOP, blijkbaar moet je voor een 13th of 14th gen CPU PowerTOP versie 2.15 hebben, en ik draai Debian 12, daar is versie 2.14 de laatste versie...

Handmatig installeren gaat niet, dat is een halve OS upgrade (naar testing) helaas...

Link naar versie 2.15 2023: mrmrmr in "Het grote zuinige server topic - deel 3" voor Debian 12.

Edit:
De 2.15 versie van github, zojuist gecompileerd: https://limewire.com/d/05...ZO49AyWrqYMTZ8P1aMDOzm8RI
Laatste commit was 2 maart 2024.

Dependencies:

code:

# ldd powertop
        linux-vdso.so.1 (0x00007ffc0d67f000)
        libnl-genl-3.so.200 => /lib/x86_64-linux-gnu/libnl-genl-3.so.200 (0x00007f217380d000)
        libnl-3.so.200 => /lib/x86_64-linux-gnu/libnl-3.so.200 (0x00007f21737ea000)
        libncursesw.so.6 => /lib/x86_64-linux-gnu/libncursesw.so.6 (0x00007f21737b0000)
        libtinfo.so.6 => /lib/x86_64-linux-gnu/libtinfo.so.6 (0x00007f217377d000)
        libpci.so.3 => /lib/x86_64-linux-gnu/libpci.so.3 (0x00007f217376b000)
        libtracefs.so.1 => /lib/x86_64-linux-gnu/libtracefs.so.1 (0x00007f2173747000)
        libtraceevent.so.1 => /lib/x86_64-linux-gnu/libtraceevent.so.1 (0x00007f2173720000)
        libstdc++.so.6 => /lib/x86_64-linux-gnu/libstdc++.so.6 (0x00007f2173400000)
        libm.so.6 => /lib/x86_64-linux-gnu/libm.so.6 (0x00007f2173641000)
        libgcc_s.so.1 => /lib/x86_64-linux-gnu/libgcc_s.so.1 (0x00007f2173621000)
        libc.so.6 => /lib/x86_64-linux-gnu/libc.so.6 (0x00007f217321f000)
        libz.so.1 => /lib/x86_64-linux-gnu/libz.so.1 (0x00007f2173200000)
        libudev.so.1 => /lib/x86_64-linux-gnu/libudev.so.1 (0x00007f21731d2000)
        /lib64/ld-linux-x86-64.so.2 (0x00007f2173894000)

[ Voor 61% gewijzigd door mrmrmr op 21-01-2025 20:02 ]

[Kanarie]

code:

apt install libtracefs-dev

[bjp]

misschien zoeits als "build-essential" installeren?


de lijst staat ook voor Ubuntu op de github zelf: https://github.com/fenrus75/powertop

[ Voor 50% gewijzigd door bjp op 21-01-2025 19:11 ]

[Mich]

Kanarie schreef op dinsdag 21 januari 2025 @ 19:05:

code:

apt install libtracefs-dev

Je moet idd de dev hebben. Ik vind het ook altijd weer puzzelen om het te laten werken. Niet zo makkelijk als die paar commando's uit de github.

[FireDrunk]

Heb ik allemaal geinstalleerd zoals je kan zien.

Ik zit nu in een ArchLinux bootable ISO, en daar komt het bord niet lager dan C3.
Dat was niet zo volgens mij, ik denk dat een BIOS update roet in het eten gegooid heeft...

[bjp]

soms met BIOS update moet je ook je config helemaal terug doen.

[FireDrunk]

bjp schreef op dinsdag 21 januari 2025 @ 19:25:
soms met BIOS update moet je ook je config helemaal terug doen.

Dat dacht ik gedaan te hebben

[Mars Warrior]

HotSpot79 schreef op dinsdag 21 januari 2025 @ 17:01:
[...]
Ik heb een k3842-q2 board met r2.16.
Ohja met een i5 13500 als cpu en 2x 48GB Crucial Pro

Ik zie overal in de Kontron spec max 128GB staan. Maar jij hebt er dus 48GB modules inzitten, oftewel max 192GB met 4 modules.

Vraag me af welke spec dan klopt: wel support voor 48GB modules, maar nog steeds 128GB max, of toch 192Gb en gewoon oude spec nooit bijgewerkt?

[HotSpot79]

Mars Warrior schreef op dinsdag 21 januari 2025 @ 21:52:
[...]

Ik zie overal in de Kontron spec max 128GB staan. Maar jij hebt er dus 48GB modules inzitten, oftewel max 192GB met 4 modules.

Vraag me af welke spec dan klopt: wel support voor 48GB modules, maar nog steeds 128GB max, of toch 192Gb en gewoon oude spec nooit bijgewerkt?

Had ik ook gelezen. Had maar twee modules van 48 GB, anders had ik het geprobeerd. Ik heb nu twee banks ongebruikt.

[Mars Warrior]

HotSpot79 schreef op dinsdag 21 januari 2025 @ 22:03:
[...]

Had ik ook gelezen. Had maar twee modules van 48 GB, anders had ik het geprobeerd. Ik heb nu twee banks ongebruikt.

Goed om te weten dat 48GB modules werken. Met 2x48 en 2x32 zou je op 160GB uitkomen.

Wie weet test ik dat nog een keer. Dan haal ik de 96GB ff uit mijn desktop.

[SadisticPanda]

bjp schreef op woensdag 15 januari 2025 @ 18:27:
idd, het ligt echt wel aan B660/B760. Er zijn genoeg andere chipsets met een usb-serial dat wel werkt, zonder het verbruik dusdanig te verhogen.

ik heb voor deze reden, mijn zigbee USB stick naar een RPi verhuisd + de config van zigbee2mqtt moeten aanpassen om deze 'remote' aan te sturen.

Nota: de Pi draaide 'toch' al als 2de Adguard server (backup als de main uitvalt) & octopi.

Volgens mij zelfde probleem op een H270 (G4560).
- zigbee usb controller
- coral usb
- ups monitor over usb

Niet onder C3 te krijgen op proxmox. Mss toch ook eens kijken om al deze aparaten over tcp te knallen, mss dat de server dan wel lager in C-states valt.


Al trekken mijn proxmox server(HA+frigate+coral+zigbee) + mijn fileserver (14disks) + 2 x wd nas + 8p-switch + UPS tesamen onder idle 70W uit de muur. Mag al bij al nog niet klagen imho

[ Voor 11% gewijzigd door SadisticPanda op 22-01-2025 09:34 ]

[andru123]

HotSpot79 schreef op dinsdag 21 januari 2025 @ 18:40:
Correct, het is de AQN 100 van Marvell. Deze heeft wel aspm support. Al hoewel ik het wel handmatig moet activeren.

De asm1166 zit in de ssd2 die vanuit de chipset. De samsung zit in ssd1 aan de CPU.

Met alleen de samsung 980 in ssd1, haal ik 3 W.

Dat is een uitstekend resultaat, veel minder dan wat was vroeger voor dat bord gemeld. En dan nog 10g(!) netwerk card dat maar 1W extra verbruikt in idle!
Ik zie dit systeem in je inventaris niet, zou leuk zijn om meer te weten.

[bjp]

is dat met 10G in gebruik, of geen kabel erin?

[Jerie]

bjp schreef op dinsdag 21 januari 2025 @ 16:01:
ik ben wel fan geweest van overclocking en/of undervolting in het verleden, maar op mijn 'server' wil ik dat toch echt niet!

ik wil iets super stabiel.

En voor IDLE/standby, weet ik niet of het zoveel gaat uitmaken (ok lek-verliezen schalen wel met de spanning in electronica, maar ook heel veel met temperatuur of process variatie - "PVT").

Maar wat leuk zou zijn, is weten welke Core spanning gebruikt wordt bij welke frequentie - dan kan je "op tijd" beperken om de totale energiekost te optimaliseren (en kom je al snel tot de conclusie: de Turbo afzetten!).

Niemand heeft het in geval van zuinige server over overclocking, m.u.v. XMP. Undervolting kan juist stabiliteit verhogen en energieverbruik afnemen. Hangt er maar net van af.

[vDorst]

bjp schreef op woensdag 22 januari 2025 @ 15:19:
is dat met 10G in gebruik, of geen kabel erin?

Het is een netwerkkaart met SFP poort.
Dus met een DAC-kabel is dit zeker mogelijk.

Jammer dat al die AQC-100 gebazeerde kaarten zo duur zijn. +80 euro is vaak moeilijk te verantwoorden.
Ik snap ook niet goed waarom ze zo duur zijn. praktisch maar 1 chip die PCIe-naar-SFP conversie doet.
X710-DA2 op ebay is vergelijkbaar in prijs en is meer server gericht en heeft twee SFP+ poorten.

[bjp]

ik heb weinig zin in undervolting, want dan kan mogelijks mijn CPU niet juist rekenen. Hoe ga je bepalen of een underclock "veilig is", want je bent buiten spec aan het gaan...

wat typisch gebeurt:
- je undervolt verder en verder, tot hij instabiel wordt
- je neemt daarna een marge terug, en dat "beschouw" je als veilig. Maar hoe maak je zeker dat _alle_ operaties altijd juist uitgevoerd worden?

Zeker bij veel 'actief' gebruik, valt er veel te winnen. Bij een server dan 95% van de tijd idle is, weinig.

[Jerie]

HotSpot79 schreef op dinsdag 21 januari 2025 @ 18:40:
[...]


Correct, het is de AQN 100 van Marvell. Deze heeft wel aspm support. Al hoewel ik het wel handmatig moet activeren.

De asm1166 zit in de ssd2 die vanuit de chipset. De samsung zit in ssd1 aan de CPU.

Met alleen de samsung 980 in ssd1, haal ik 3 W.

Dat is wel interessant want SFP+. Dan kun je DAC gebruiken, dat is zeer power efficiënt. De AQC113 is ook relatief power efficiënt bij idle, maar als je hem gaat gebruiken is het feest wel minder. DAC gebruikt daarentegen vrijwel niets.

Ik gebruik Intel X710, die zijn ook relatief zuinig.

[Jerie]

bjp schreef op woensdag 22 januari 2025 @ 16:43:
ik heb weinig zin in undervolting, want dan kan mogelijks mijn CPU niet juist rekenen. Hoe ga je bepalen of een underclock "veilig is", want je bent buiten spec aan het gaan...

wat typisch gebeurt:
- je undervolt verder en verder, tot hij instabiel wordt
- je neemt daarna een marge terug, en dat "beschouw" je als veilig. Maar hoe maak je zeker dat _alle_ operaties altijd juist uitgevoerd worden?

Zeker bij veel 'actief' gebruik, valt er veel te winnen. Bij een server dan 95% van de tijd idle is, weinig.

Als je weinig zin hebt in iets, dan doe jij dat niet. Daar lig ik niet wakker van.

Je hoeft ook niet zelf te experimenteren. Je volgt gewoon het advies van experts die het hebben getest. Ik heb meer dan eens hardware undervolt die daardoor stabieler werd, of minder energie verbruikte.

Verder, alles dat je custom doet is out of spec (iedere package die je installeert, config die je aanpast, enz). Bitflip kan altijd. Om dat te voorkomen zijn diverse methodes, allemaal met hetzelfde nadeel het kost Watt/Joules.

Tenslotte, in mijn geval is mijn server niet 95% idle maar minder. Ik haal die efficiëntie van anderen dan ook niet, maar ik doe dan ook wel iets met m'n server. Het doel is dan ook niet zuinigste maar zuinige server.

[andru123]

In plaats van undervolten, kan je ook frequenties beperken, dat is effectief hetzelfde. Undervolten (of freq. beperken) kan je makkelijk 50W aan energie besparen met i7/i9.
Undervolten is beperkt/niet mogelijk met de laatste Intel microcode, trouwens. Vergrendeld door Intel.

[dcm360]

vDorst schreef op woensdag 22 januari 2025 @ 16:43:
[...]

Het is een netwerkkaart met SFP poort.
Dus met een DAC-kabel is dit zeker mogelijk.

Jammer dat al die AQC-100 gebazeerde kaarten zo duur zijn. +80 euro is vaak moeilijk te verantwoorden.
Ik snap ook niet goed waarom ze zo duur zijn. praktisch maar 1 chip die PCIe-naar-SFP conversie doet.
X710-DA2 op ebay is vergelijkbaar in prijs en is meer server gericht en heeft twee SFP+ poorten.

Tja, prijzen op Ebay vergelijken met nieuw uit de winkel is dan ook een beetje scheef. Overigens zijn X710-kaartjes onderhand (per poort) niet heel veel duurder meer uit de winkel, vergeleken met de AQC100.

[Jerie]

dcm360 schreef op woensdag 22 januari 2025 @ 17:48:
[...]

Tja, prijzen op Ebay vergelijken met nieuw uit de winkel is dan ook een beetje scheef. Overigens zijn X710-kaartjes onderhand (per poort) niet heel veel duurder meer uit de winkel, vergeleken met de AQC100.

Op eBay zijn ze gewoonweg schappelijk geprijsd (makkelijk < 25%) t.o.v. nieuw in NL winkel of V&A. Ook kun je er bij sommige verkopers garantie bij krijgen.

[dcm360]

Jerie schreef op woensdag 22 januari 2025 @ 18:01:
[...]


Op eBay zijn ze gewoonweg schappelijk geprijsd (makkelijk < 25%) t.o.v. nieuw in NL winkel of V&A. Ook kun je er bij sommige verkopers garantie bij krijgen.

Voor minder dan 50 euro is inderdaad wel een goede deal. Het is dat ik er geen nodig heb op dit moment

[Jerie]

dcm360 schreef op woensdag 22 januari 2025 @ 18:05:
[...]

Voor minder dan 50 euro is inderdaad wel een goede deal. Het is dat ik er geen nodig heb op dit moment

OEM is zelfs nog goedkoper te krijgen. Van Intel zelf is over algemeen weer wat duurder. Het jammere is dat Yottamark niet meer werkt, dus al die oudere kaartjes kun je niet checken (en daar wordt ook mee gesjoemeld). De nieuwere hebben Brady ID, die kun je wel checken, en die zijn ook vaak zuiniger maar ook weer duurder als men weet wat men verkoopt.

Overigens, Solarflare heeft ook enkele goede, relatief zuinige 10 gbit kaartjes. Helaas heeft die die ik heb (2x 10 gbit, zuiniger dan X710-DA2) problemen met suspend to RAM resume op Windows (niet op Linux). Dan moet je de interface down en up doen.

Ook een repaste kan soms wonderen verrichten!

[latka]

Jerie schreef op woensdag 22 januari 2025 @ 18:27:
[...]
Overigens, Solarflare heeft ook enkele goede, relatief zuinige 10 gbit kaartjes. Helaas heeft die die ik heb (2x 10 gbit, zuiniger dan X710-DA2) problemen met suspend to RAM resume op Windows (niet op Linux). Dan moet je de interface down en up doen.

Ik heb hier Solarflare SFN7122 maar die doen geen ASPM. Welke heb jij? En doen die dat wel?

[Jerie]

latka schreef op donderdag 23 januari 2025 @ 13:32:
[...]

Ik heb hier Solarflare SFN7122 maar die doen geen ASPM. Welke heb jij? En doen die dat wel?

SFN8522, 30 EUR op eBay, doet wel ASPM maar heeft dus die issue op Windows.

[latka]

Jerie schreef op donderdag 23 januari 2025 @ 13:39:
[...]


SFN8522, 30 EUR op eBay, doet wel ASPM maar heeft dus die issue op Windows.

Ah, top. Ik zie in een andere post van je dat het 7.3w idle gebruik is. Is dat met ASPM aan? Want dat is ongeveer een SFN7122 zonder ASPM ook. Wellicht is het een dummy implementatie van Solarflare en doet ASPM eigenlijk niets (lijkt me niet goed mogelijk omdat de PCI-e bus ook in low-power gaat dacht ik bij ASPM maar ben geen expert). Ik zoek nog steeds een SFP+ NIC die minder dan 2w idle doet, maar dat lijkt nog een illusie.

[HotSpot79]

bjp schreef op woensdag 22 januari 2025 @ 15:19:
is dat met 10G in gebruik, of geen kabel erin?

Met 10gbe in gebruik. Ik gebruik die verbinding om via ssh in te kunnen loggen.

Ik denk wel dat als ik er flink data ga sturen het verbruik wel flink toe neemt.

Jammer dat die AQN100 nog niet automatisch aspm enabled. Ik moet dat helaas via het script doen.

[Jerie]

latka schreef op donderdag 23 januari 2025 @ 13:45:
[...]

Ah, top. Ik zie in een andere post van je dat het 7.3w idle gebruik is. Is dat met ASPM aan? Want dat is ongeveer een SFN7122 zonder ASPM ook. Wellicht is het een dummy implementatie van Solarflare en doet ASPM eigenlijk niets (lijkt me niet goed mogelijk omdat de PCI-e bus ook in low-power gaat dacht ik bij ASPM maar ben geen expert). Ik zoek nog steeds een SFP+ NIC die minder dan 2w idle doet, maar dat lijkt nog een illusie.

Weet ik niet, kan het een keer testen. Volgens die HPE 10 PDF is X710-DA2 SFP+ zo'n 3W [1]. Dat vind ik goed, al heb ik er een DA4 inzitten (omdat ik er daar nog 3 van had liggen).

AQC100 is een SFP+ die minder dan 1W zou verbruiken. [2] Maar die AQC die missen server features zoals SR-IOV. Wil je geen DAC of glas zou ik voor een AQC113 gaan. Maar de andere kant zal ook TP moeten kunnen en die dingen SFP+ gebruiken meer dan hele AQC NIC. Dus zoveel mogelijk DAC, dan glasvezel, en zo min mogelijk TP 10 gbit. Waarbij verbruik bij glasvezel nagenoeg niets kost, ook afstand irrelevant. Ergo, ik denk dat de meest zuinige die ik ken AQC100 plus DAC is. Die in switch en je hebt een zuinige client. Niet zelf getest, ik hou het bij deze DA4 voor nu.

Ook de nieuwere opvolger van X710 series, XL710, is relatief zuinig [3].

Je moet wel rekening houden dat iperf3 saturaten niet alles zegt. Dat genereert namelijk geen load op je SSD/NVMe/HDD. Om dat te emuleren doe ik een dd van /dev/zero naar file op NVMe. Dat genereert nagenoeg geen extra load op CPU maar wel write op NVMe. Je zou ook read kunnen doen van NVMe met output /dev/null dat is hetzelfde principe maar dan voor read. Ik doe dit vooral om te emuleren wat de verwachte hitte zou moeten zijn in het apparaat.

[1] https://stinriverstoragep...ise/P26262-B21/673674.pdf

[2] https://gzhls.at/blob/ldb...91ab49a95ff26384888f4.pdf

[3] https://cdrdv2-public.int...%20Adapter%20XL710_19.pdf

[Jerie]

HotSpot79 schreef op donderdag 23 januari 2025 @ 16:29:
[...]

Met 10gbe in gebruik. Ik gebruik die verbinding om via ssh in te kunnen loggen.

Ik denk wel dat als ik er flink data ga sturen het verbruik wel flink toe neemt.

Jammer dat die AQN100 nog niet automatisch aspm enabled. Ik moet dat helaas via het script doen.

Kun je testen:

Op server:

$ iperf3 -s

Op client:

// Verstuur van client naar server (send)
$ iperf3 -c 192.168.0.135 -P 8 -t 120

// Verstuur van server naar client (receive)
$ iperf3 -c 192.168.0.135 -P 8 -t 120 -R

Dat zou 10 gbit moeten saturaten.

Vervolgens kun je dat script gebruiken dat middels date en /sys/class/powercap/intel-rapl:0/energy_uj het Joules/Watt verschil checkt, of met turbostat. Voor dat laatste had ik het volgende script geschreven:

code:

#!/bin/bash

# Check if turbostat and bc are available
command -v turbostat >/dev/null 2>&1 || { echo "turbostat is required but not installed. Aborting."; exit 1; }
command -v bc >/dev/null 2>&1 || { echo "bc is required but not installed. Aborting."; exit 1; }

# Check if quiet mode (-q) is passed
if [[ "$1" == "-q" ]]; then
    _quiet=y
fi

# Run turbostat and process output
turbostat -i 1 -S --show "PkgWatt","CorWatt","GFXWatt","RAMWatt" -q | while read -r i; do
    # Skip lines that contain "Watt" (header line)
    if [[ "$i" =~ "Watt" ]]; then
        if [[ "$_quiet" != "y" ]]; then
            printf "Date                             Sum (Watt)\n"
        else
            printf "Sum (Watt)\n"
        fi
    else
        # Extract values using read and awk to split into variables
        read a b c d <<<$(awk '{print $1, $2, $3, $4}' <<< "$i")

        # Compute sum and handle rounding to 2 decimal places
        _sum=$(echo "scale=2; $a + $b + $c + $d" | bc)

        # Output the result
        if [[ "$_quiet" != "y" ]]; then
            _date=$(date --rfc-3339 s)
            printf "%s \t %.2f\n" "$_date" "$_sum"
        else
            printf "%.2f\n" "$_sum"
        fi
    fi
done

Waarbij je -i 1 de interval is (standaard is dat 5).

[GioStyle]

Ik weet dat hier een aantal mensen ook een Aoostar WTR Pro hebben. Heeft iemand hier een zfs raidz1 pool draaien met 4 schijven en een scrub veroorzaakt (voornamelijk de 3e bay) errors? Schijven van plek verwisselen heeft niet geholpen, dus het probleem ligt bij de hardware/bays.

@Tja010 @thespeed @CyberThijs

[ Voor 6% gewijzigd door GioStyle op 25-01-2025 19:12 ]

[Mars Warrior]

GioStyle schreef op zaterdag 25 januari 2025 @ 11:06:
Ik weet dat hier een aantal mensen ook een Aoostar WTR Pro hebben. Heeft iemand hier een zfs raidz1 pool draaien met 4 schijven en een scrub veroorzaakt (voornamelijk de 3e bay) errors? Schijven van plek verwisselen heeft niet geholpen, dus het probleem ligt bij de hardware/bays.

Met "Schijven van plek verwisselen" heb je dus ook de SATA kabels verwisselt?

[GioStyle]

Mars Warrior schreef op zaterdag 25 januari 2025 @ 11:44:
[...]

Met "Schijven van plek verwisselen" heb je dus ook de SATA kabels verwisselt?

Zo ver ik kan beoordelen zijn er geen kabels. De schijven zijn verbonden door middel van een backplane. En de backplane zit rechtstreeks met een PCI-e connector aangesloten op het moederbord.

Ik zag op Reddit dat iemand precies dezelfde problemen ervaart en helaas ook geen oplossing heeft.

[andru123]

@GioStyle zoek wie heeft het en gericht roepen.
mooi als mensen Inventaris invullen, is zoveel makkelijker om te beoordelen.

[CyberThijs]

@GioStyle ik draai btrfs zonder raar gedrag

[thespeed]

GioStyle schreef op zaterdag 25 januari 2025 @ 11:06:
Ik weet dat hier een aantal mensen ook een Aoostar WTR Pro hebben. Heeft iemand hier een zfs raidz1 pool draaien met 4 schijven en een scrub veroorzaakt (voornamelijk de 3e bay) errors? Schijven van plek verwisselen heeft niet geholpen, dus het probleem ligt bij de hardware/bays.

@Tja010 @thespeed @CyberThijs

Ik heb vannacht even een scrub laten uitvoeren.
Wat ik zo zie gaat dit goed (Truenas Scale)
Ik heb de AMD versie.

[Tja010]

GioStyle schreef op zaterdag 25 januari 2025 @ 11:06:
Ik weet dat hier een aantal mensen ook een Aoostar WTR Pro hebben. Heeft iemand hier een zfs raidz1 pool draaien met 4 schijven en een scrub veroorzaakt (voornamelijk de 3e bay) errors? Schijven van plek verwisselen heeft niet geholpen, dus het probleem ligt bij de hardware/bays.

@Tja010 @thespeed @CyberThijs

Ook de AMD variant hier. Bij mij draait TrueNAS in een VM (Proxmox) en voorlopig als test met 1 schijf. Ik kan hier helaas geen antwoord op geven.

[Ruudstertje]

Ik draai momenteel op een oude game pc (msi b450, amd ryzen 5, 16gb geheugen, maar ssd 360gb en 1tb hdd) truenas met Sonarr/Radarr/Jellyseerr/Emby en nog wat containers. Dit draait als een zonnetje alleen gebruikt wel redelijk wat stroom en is gehorig.

Nu zat ik te kijken naar iets wat stiller (fan loos) en zuiniger is. Ik zie hier en daar op internet wel mensen die oude Lenovo's gebruiken of Dell optiplex.

Iemand ervaring met die Lenovo of optiplex als mini server?

[ Voor 4% gewijzigd door Ruudstertje op 26-01-2025 18:56 ]

[pimlie]

@Mars Warrior Had vandaag eindelijk weer tijd voor dat scriptje, kwam ook omdat het een beetje uit de hand gelopen was want er kwam zoveel meer bij kijken als je het echt een beetje goed wilde doen. Niet alle features zullen zinvol zijn, en er zullen vast wel nog wat bugjes in zitten her en der. Zie hier: https://codeberg.org/pimlie/rapl_profiler

De kleuren in de grafiek is de som van de afgeleidde van voorgaande P-code/E-core waarden. Ik ben vrij zeker dat dit nog wat verdere tuning nodig heeft (of mss zelfs user configureerbaar) voor bv jouw K processor waar de verschillende waarschijnlijk groter zijn (stuur je resultaten maar door als dat nodig is).

Hieronder een profiel van mijn 14500T. Bestaat uit 1107 individuele runs, duurt bijna 2 uur maar wel mooie details daardoor. Snap zelf in dit grafiekje niet waarom bij de hoogste P en E-core frequencies het verbruik veel hoger dan de maximale 35W is terwijl bij lage E-core frequencies de cpu wel gewoon steevast max 35W doet (het zwarte plateau). Het lijkt een meet of verwerkingsfout, maar heb zo 123 nog niets kunnen vinden.


En dit van mijn 12500T (deze moet ik nog een keer opnieuw doen, zitten wat rare artefacten in waarschijnlijk veroorzaakt door andere processen)

[andru123]

Gaat het allen om package power en frequentie? Dat is niet genoeg om efficiëntie te meten - je moet Whr en hoeveelheid werk meten. Natuurlijk gaat de power omhoog bij hogere frequentie, maar betekent het dat werk sneller kaar is? Of mis ik iets?

[Mars Warrior]

andru123 schreef op zondag 26 januari 2025 @ 21:31:
Gaat het allen om package power en frequentie? Dat is niet genoeg om efficiëntie te meten - je moet Whr en hoeveelheid werk meten. Natuurlijk gaat de power omhoog bij hogere frequentie, maar betekent het dat werk sneller kaar is? Of mis ik iets?

Ja. Package Power = Joules, of beter uJoules

[RobertMe]

pimlie schreef op zondag 26 januari 2025 @ 20:56:
Zie hier: https://codeberg.org/pimlie/rapl_profiler

404 => repo toevallig op private staan?

Mars Warrior schreef op zondag 26 januari 2025 @ 22:04:
[...]

Ja. Package Power = Joules, of beter uJoules

Het punt dat @andru123 denk ik wil maken is hoeveel die hogere frequentie / hogere snelheid oplevert afgezet tegen het hogere verbruik. Watts extra voor 0,1GHz extra is waarschijnlijk niet heel efficient zeg maar. Of zoals hij het stelt: wat is het Wh verbruik vs hoeveel werk die daadwerkelijk kan doen ("hoe vaak kun je een zip file uitpakken in een uur en hoeveel Wh aan stroom kost dat, en dat bij frequentie X en frequentie Y").

[pimlie]

@RobertMe Hmm, ja en nee. Op Codeberg zijn repositories alleen zichtbaar voor gebruikers die zijn ingelogd standaard, heb hem nu public gezet. Dank

[pimlie]

@andru123 Vorige week was @Mars Warrior bezig om de sweet spot te vinden voor o.a. de max scaling frequency van je processor. Zie zijn posts van vorige week. Ik vond dat ook interessant om inzichtelijk te krijgen.

Het profile script draait stress-ng met een instelbare load (gekopieerd van @Mars Warrior's script). Dus de hoeveelheid werk die werd gedaan met bovenstaande grafieken is 100% cpu belasting. Hoe stress-ng exact de cpu belast en of dat vergelijkbaar is met het uitpakken van een zip bestand maakt niet zoveel uit, het is immers geen benchmark maar een profiler (het meet geen absolute performance maar naar het verschil in opgenomen vermogen bij volledige cpu belasting per ingestelde max scaling frequentie).
Het script kan eventueel ook andere workloads draaien uiteraard als je goede suggesties hebt, maar voor nu meet het het gemiddelde opgenomen Watt zoals geraporteerd via RAPL door de cpu over een periode van 5s bij volledige belasting (de 5s is aan te passen).

Zal de opmerking over workloads in ieder geval wel meenemen als feature request, kan best interessant zijn idd om een vaste workload te pakken en te kijken hoe snel die workload vervolgens wordt afgehandeld bij verschillende frequenties.

[andru123]

@pimlie stress-ng rapporteert geen “berekening per seconde” of iets dergelijks? Dat zou makkelijkst zijn.
Grafieken en scripts zijn zeker erg nuttig en informatief om het optimale maximale keerpunt voor frequentie te bepalen.
Ik vermoed dat de hoeveelheid werk lineair schaalt met de frequentie. Dat weten we gewoon niet op basis van de grafieken die een momentopname in Watt laten zien. Misschien is dat niet echt nodig om te meten, en is vermogen op frequentie voldoende.
(Ik vergelijk jouw metingen met de auto - verbruik per toerental per min (tpm). Mijn auto is optimaal rond de 40 mph (1200 tpm), dan haal ik 32 mpg. Maar ik ga niet 40 rijden op de snelweg, dan duurt mijn reis 6 uur in plaats van 3. Toch probeer ik onder de 2000 tpm te blijven - dat is ongeveer 70 mph, met een verbruik van 24 mpg. Als ik 80 mph (2500 tpm) ga, het verbruik wordt <20 mpg.)

[HyperBart]

GioStyle schreef op zaterdag 25 januari 2025 @ 11:52:
[...]


Zo ver ik kan beoordelen zijn er geen kabels. De schijven zijn verbonden door middel van een backplane. En de backplane zit rechtstreeks met een PCI-e connector aangesloten op het moederbord.

Ik zag op Reddit dat iemand precies dezelfde problemen ervaart en helaas ook geen oplossing heeft.

Mja, N=2 ervaringen natuurlijk, kan ook gewoon dom toeval zijn.
Je kan ook eens in het ZFS topic crossposten, specifiek dan ook welke errors want ja, errors, dat kunnen er heel wat zijn .

Afhankelijk van je feedback moet je dan eens verder kijken, kan aan tig dingen liggen, maar door de schijven te wisselen heb je al wel met een aan zekerheid grenzende waarschijnlijkheid dingen geëlimineerd.

[Mars Warrior]

andru123 schreef op maandag 27 januari 2025 @ 14:38:
@pimlie stress-ng rapporteert geen “berekening per seconde” of iets dergelijks? Dat zou makkelijkst zijn.
Grafieken en scripts zijn zeker erg nuttig en informatief om het optimale maximale keerpunt voor frequentie te bepalen.

stress-ng geeft "bogo ops". Samen met de tijd kun je dan het aantal bogo-ops/sec laten zien als vergelijking.

Ik vermoed dat de hoeveelheid werk lineair schaalt met de frequentie. Dat weten we gewoon niet op basis van de grafieken die een momentopname in Watt laten zien. Misschien is dat niet echt nodig om te meten, en is vermogen op frequentie voldoende.

Performance (volgens mijn grafieken) schaalt lineair met toename frequentie. Echter het vermogen dus niet dat nodig is.

Ik had al eerder dat soort grafiekjes laten zien, waarbij het elke keer opviel dat bij lage P-Freq de E-cores veel meer invloed hebben dan bij een hoge(re) P-Freq.

[Ernie]

Beste Tweakers,

Ik lees al een tijdje mee in dit topic en hoop dat jullie wat advies voor mij hebben. Ik heb momenteel een HP T620 Thin Client als home assistant server. Die heeft 8 - 9 W idle verbruik, gemeten met een energiemeter aan de muur.

Ik zit te denken om twee externe 5.4” HDDs (van 5TB) te kopen en via USB te verbinden. O.a. vanwege de zuinigheid en er is een leuke aanbieding en mijn Thin Client heeft geen SATA poorten.
uitvoering: Seagate Expansion Portable Drive (2021) 5TB Zwart

Ik wil wel meer met deze Thin Client gaan doen dan alleen HA draaien. Ik wil wat extra apps proberen zoals Mealie, Immich en extra opslag toevoegen als NAS/backup, vandaar ook de extra HDDs. Maar ik ben een beetje overweldigd door alle opties qua software/hardware op het moment. Dus daarom vraag ik jullie hulp!

Wat denken jullie? Kan ik met 2 extra schijven toevoegen aan mijn bestaande thin client hier iets van maken? Is er hier misschien iemand hier die een soortgelijk systeem heeft geprobeerd met zo’n (HP) Thin Client? En welke software hebben jullie voor gekozen? Ik loop een beetje vast door alle opties.

[pimlie]

@Mars Warrior Hoe heb je die x264 benchmark gedraaid? Als ik hem draai dan gebruikt hij verre van 100% cpu, lijkt wel alsof hij voornamelijk hw acceleratie gebruikt..

[Mars Warrior]

pimlie schreef op maandag 27 januari 2025 @ 17:39:
@Mars Warrior Hoe heb je die x264 benchmark gedraaid? Als ik hem draai dan gebruikt hij verre van 100% cpu, lijkt wel alsof hij voornamelijk hw acceleratie gebruikt..

Ik heb destijds spul van Phoronix gebruikt om dit te testen. Was wel ff kloten om aan de praat te krijgen, maar daarna zonder problemen gebruikt. Zowel Bosphorus als 7zip uit mijn hoofd.

Edit: zoiets dus:

Ik gebruikte dan het gemiddelde van 3 runs.

code:

sudo perf stat -r 3 -e power/energy-pkg/,power/energy-cores/,power/energy-gpu/ phoronix-test-suite benchmark pts/x264

[ Voor 18% gewijzigd door Mars Warrior op 27-01-2025 20:41 ]

[Piet91]

Ernie schreef op maandag 27 januari 2025 @ 16:52:
Ik lees al een tijdje mee in dit topic en hoop dat jullie wat advies voor mij hebben. Ik heb momenteel een HP T620 Thin Client als home assistant server. Die heeft 8 - 9 W idle verbruik, gemeten met een energiemeter aan de muur.

Heb je een Zigbee-stick o.i.d. aangesloten? (dat voor meer verbruik zorgt)
Ik heb een T620 van Marktplaats gehaald voor Tailscale en Unifi controller. (Debian 12 als OS)
Dit zit rond de 5.4 - 5.8W.

Heb dat Powertop wel wat mee zitten aanmodderen en soms leek het wat te doen; maar of ik dat nou uiteindelijk goed heb uitgevoerd weet ik niet. Ik volg het niet helemaal hoe je dat nou precies moet doen, maar zo'n 5.5.W valt op het geheel van een huishouden dan ook wel mee.

Ik zit te denken om twee externe 5.4” HDDs (van 5TB) te kopen en via USB te verbinden. O.a. vanwege de zuinigheid en er is een leuke aanbieding en mijn Thin Client heeft geen SATA poorten.
uitvoering: Seagate Expansion Portable Drive (2021) 5TB Zwart

Ik wil wel meer met deze Thin Client gaan doen dan alleen HA draaien. Ik wil wat extra apps proberen zoals Mealie, Immich en extra opslag toevoegen als NAS/backup, vandaar ook de extra HDDs. Maar ik ben een beetje overweldigd door alle opties qua software/hardware op het moment. Dus daarom vraag ik jullie hulp!

Wat denken jullie? Kan ik met 2 extra schijven toevoegen aan mijn bestaande thin client hier iets van maken? Is er hier misschien iemand hier die een soortgelijk systeem heeft geprobeerd met zo’n (HP) Thin Client? En welke software hebben jullie voor gekozen? Ik loop een beetje vast door alle opties.

Je kunt ook dit gaan doen https://www.parkytowers.me.uk/thin/hp/t620/mods3.shtml

[andru123]

Asm1061 lijkt niet echt zuinig te zijn.
(Seagate schijven hebben maar 2 jaar garantie, ter vergelijken met WD 3 jaar. Er moet een reden te zijn?)

[Ernie]

Piet91 schreef op maandag 27 januari 2025 @ 20:43:
[...]

Heb je een Zigbee-stick o.i.d. aangesloten? (dat voor meer verbruik zorgt)
Ik heb een T620 van Marktplaats gehaald voor Tailscale en Unifi controller. (Debian 12 als OS)
Dit zit rond de 5.4 - 5.8W.

Heb dat Powertop wel wat mee zitten aanmodderen en soms leek het wat te doen; maar of ik dat nou uiteindelijk goed heb uitgevoerd weet ik niet. Ik volg het niet helemaal hoe je dat nou precies moet doen, maar zo'n 5.5.W valt op het geheel van een huishouden dan ook wel mee.

[...]

Je kunt ook dit gaan doen https://www.parkytowers.me.uk/thin/hp/t620/mods3.shtml

Dankje voor je reactie! Heel scherp van je, ik gebruik inderdaad een zigbee stick, en een P1 kabel naar de slimme meter. Dus dat verklaart het verschil.
uitvoering: Sonoff Zigbee 3.0 Dongle Plus (ZBdongle-E)

Powertop heb ik nog niks mee gedaan moet ik toegeven, goeie tip!
5.5W is inderdaad niet veel op een huishouden. Ik vind ook gewoon leuk om het te kunnen optimaliseren.

Een beetje een zijpad: ~27% van mijn totale stroomverbruik komt uit sluipverbruik en dat vind ik toch wel veel. Het sluipverbruik is rond de 66W met veruit de grootste sluipverbruikers zijn het thuiskantoor en de server ruimte

Leuke mods trouwens maar dat ga ik (nog) even niet doen.

andru123 schreef op dinsdag 28 januari 2025 @ 06:34:
Asm1061 lijkt niet echt zuinig te zijn.
(Seagate schijven hebben maar 2 jaar garantie, ter vergelijken met WD 3 jaar. Er moet een reden te zijn?)

Zeker niet als de mpcie naar SATA adapter weer extra sluipverbruik toevoegt.

Goed punt van de 2 vs 3 jaar garantie, prijsverschil is maar 10e zo te zien.

Als ik even online lees lijkt het trouwens alsof Externe Seagate schijven intern gewoon een SATA connector hebben. Terwijl voor WD de USB connector direct naar op het bord zit. Ik denk dat Seagate mij beter past ivm mogelijke upgrade in de toekomst naar een N100 bord met sata connectoren bijv.

[ Voor 7% gewijzigd door Ernie op 28-01-2025 09:22 ]

[jelknab]

Ik lees al een tijdje mee, lijkt me leuk om mijn setup te delen.

Sinds kort run ik een Aoostar WTR PRO AMD, hierop draait Proxmox met een aantal vm's waaronder een Truenas core VM. De vier HDD bays zijn gevuld met WD Ultrastar DC HC320 (8TB) disks https://tweakers.net/pricewatch/1442900 in raidz1. De disks doen een spindown na lange inactiviteit, ze hebben een vrij hoog idleverbruik ongeveer 7.5W per stuk en worden maximaal 2 à 3 keer per dag opgestart.

Het systeem gebruikt doorgaans 20W, met de disks dus in spindown. Naast het aanpassen van de fan-curve is niet aan energie management gesjoemeld.
Met de disks actief loopt het gebruik op naar 50W.

Verbruik wordt gemonitord met een Shelly Plug S Gen3 https://tweakers.net/pricewatch/2115402.
Zie hier een spindown/spinup en idle

@GioStyle Ik zie geen problemen met scrubs.

[GioStyle]

@Tja010 @thespeed @CyberThijs @Mars Warrior @andru123 @jelknab @HyperBart

Bedankt voor jullie reacties, ik waardeer het zeer!

Afgelopen dagen druk bezig geweest met deze issue. Ik was er heilig van overtuigd dat het een fysieke beschadiging was, omdat ik verschillende schijven heb geprobeerd en telkens op één fysieke plek kreeg ik UDMC CMC errors tijdens het scrubben van een pool. Ik heb zelfs de hele behuizing uit elkaar getrokken en alles nagelopen, maar ik kon niets vinden. Ik baalde enorm, omdat het een gedoe is met claimen van garantie.

Om een lang verhaal even kort te maken: ik denk dat het aan het OS ligt. Ik draaide Debian 12 met ZFS en dat gaf problemen tijdens een scrub. Vanochtend even Proxmox geïnstalleerd en een scrub gedaan: 0,0 problemen.

Ik ga van de week even verder op onderzoek uit. Kan te maken hebben met de kernelversie, maar bepaalde energieinstellingen zouden ook een rol kunnen spelen.

[andru123]

@jelknab je hebt 4 disks die idle 7,5W doen? Dat is al 30W. En toch je systeem doet 20W

[RobertMe]

andru123 schreef op dinsdag 28 januari 2025 @ 13:51:
@jelknab je hebt 4 disks die idle 7,5W doen? Dat is al 30W. En toch je systeem doet 20W

Dat dacht ik ook Maar ik ga er vanuit dat die 20W met spindown is? Gezien de "met de disks actief 50W". Dat is dus die 30W verschil tussen idle & spindown dan.
Maar 20W met disks in spindown zou wel weer (heel) veel zijn. Tenzij er natuurlijk CPU intensieve processen draaien continu.

[dcm360]

Het lijkt me best redelijk voor een Proxmox-installatie waar geen tuning aan gedaan is. Met de CPU scaling governor op iets anders dan de standaard performance zetten en een keertje powertop draaien zou daar zonder veel moeite wel een leuke hoeveelheid vanaf moeten krijgen.

[jelknab]

Sorry voor de verwarring. Jullie aannames kloppen, 20W tijdens spindown.
Met disks aan 50W, dat is inderdaad de 20W base + 4 x 7.5W = 50W.

Powertop ga ik vanavond eens naar kijken!

[GioStyle]

Yup. Een standaard installatie Debian 12 (kernel 6.1) veroorzaakt problemen tijdens het scrubben van een pool. Met Proxmox 8.3 (kernel 6.8) geen centje pijn. Waar het precies aan ligt, ik zou het niet weten, maar ik ben blij dat het probleem niet fysiek is. Wel opvallend dat ik met twee 3.5" schijven geen problemen mee had, maar de upgrade naar vier 3.5" schijven ontstond opeens het probleem... Alhoewel ik met de twee schijven nooit de derde bay heb gebruikt.

Dat gezegd hebbende:

Standaard Proxmox installatie met alleen:

code:

apt install powertop 
powertop --auto-tune

apt install cpufrequtils
echo "GOVERNOR=\"powersave\"" >> /etc/default/cpufrequtils
systemctl restart cpufrequtils

Verbruikt ongeveer 5W. Schommelt af en toe richting de 7-8W. Het schommelt een beetje, omdat er volgens mij op de achtergrond het een en ander aan processen draait. Piek tijdens boot is ongeveer 25W.

Behuizing: Aoostar WTR Pro
Geheugen: Crucial CT16G4SFRA32A (2x16GB)
SSD: Crucial P2 2TB
Voedingsadapter: Leicke 12V7.5A

Vervolgens heb ik vier Seagate Exos 24TB toegevoegd. In eerste instantie durfde ik het niet aan om met de Leicke adapter te booten. Ik heb eerst met de bijgeleverde adapter (19V6,3A) geprobeerd. Piek is rond de 120/130W met alle schijven voor een aantal seconden. Vervolgens heb ik het met de Leicke adapter geprobeerd. Piek is rond de 120W voor enkele seconden. Het is op het randje en de levensduur van de adapter zal bij elke boot wel wat korter worden, maar het kan. Het verbruik tijdens een scrub met powersave schommelt tussen de 45W en 60W. Met performance is het continu rond de 65W. Verschil is wel dat de scrub met powersave rond de 500MB/s wordt gehaald en met performance rond de 1.05GB/s. Kort idle verbruik is rond de 33W. Ik vermoed dat de schijven een lagere ruststand kunnen, want ik heb met Debian idle verbruik gezien van rond de 20W na een tijd. (geen spindown)

[Jazco2nd]

mrmrmr schreef op maandag 13 januari 2025 @ 22:59:
@Jazco2nd Bifurcation is bij K384x moederborden bedoeld voor een riser van kennelijk 2 keer x8. Dat is ook de letterlijke betekenis van bifurcation (tweedeling).

Ik heb het zelf nooit getest of gezien, maar het gebruik van het x16 slot kan soms nadelig zijn voor de package C state voor Intel platforms. Misschien is er wel een workaround. Misschien kan iemand x4x4x4x4 met ervaring er meer over vertellen.

Verdorie je hebt gelijk, ook mijn D-3644B doet maar max 2x.


Dus mijn mooie 4x M.2 bifurcation riser card (4 maal 4x PCI-E) heb ik niks aan. Die gaat dus maar in de V&A hopelijk kan ik iemand blij maken.