Het grote zuinige server topic - deel 3

[tuxie6]

@RedRayMann
Scrub is disk intensief, het kan best dat de sata controller op een hogere snelheid blijft hangen.
Mogelijk lost het zich vanzelf op.
Powertop kan hem mischien uitlezen (zodat je de huidige stand weet en weer in de zuinige stand zetten.
Er zijn moederborden met een koelblokje op de sata controller het zou best kunnen dat hij verrassend veel kan slurpen.

[Guldan]

Tribunus schreef op zondag 12 januari 2025 @ 14:54:
Sinds een kleine week heb ik mijn systeem in elkaar gezet en opgestart. Daarbij proxmox geinstalleerd en de tips en tricks van de startpost doorgevoerd in het BIOS voor zover de opties er waren. Ik heb het Kontron K3843-B moederbord. Ik heb de optie in de BIOS wat betreft C-states aanstaan en er stond ook een optie om aan te geven wat de maximale C state zou moeten zijn, stond op auto, heb ik op 10 gezet. Helaas geen verschil.

Powertop geinstalleerd en diverse andere tweaks toegepast maar ik krijg eigenlijk niets lager dan C3.

/etc/kernel/cmdline (aangezien ik zfs gebruik)

code:

root=ZFS=rpool/ROOT/pve-1 boot=zfs intel_iommu=on nox2apic pcie_aspm=force pcie_aspm.policy=powersupersave consoleblank=15

En toch blijft de machine in C3 en is deze nog niet lager geweest, heb voor de test 2 VM's geïnstalleerd die aan staan maar verder nog niet echt iets doen.

code:

           Pkg(OS)  |            Core(OS) |            CPU(OS) 0   CPU(OS) 1
POLL        1.7%    | POLL        1.7%    | POLL        1.7%    0.1 ms  1.7%    0.1 ms
C1_ACPI     0.1%    | C1_ACPI     0.1%    | C1_ACPI     0.1%    0.2 ms  0.0%    0.2 ms
C2_ACPI     0.6%    | C2_ACPI     1.2%    | C2_ACPI     1.5%    0.8 ms  0.8%    0.9 ms
C3_ACPI    97.4%    | C3_ACPI    96.6%    | C3_ACPI    95.8%   68.1 ms 97.4%   90.2 ms

                    |            Core(OS) |            CPU(OS) 2   CPU(OS) 3
                    | POLL        1.7%    | POLL        1.7%    0.1 ms  1.7%    0.1 ms
                    | C1_ACPI     0.1%    | C1_ACPI     0.1%    0.2 ms  0.1%    0.4 ms
                    | C2_ACPI     0.6%    | C2_ACPI     1.1%    0.8 ms  0.1%    0.8 ms
                    | C3_ACPI    97.4%    | C3_ACPI    96.9%   76.4 ms 98.0%  166.2 ms

                    |            Core(OS) |            CPU(OS) 4   CPU(OS) 5
                    | POLL        1.7%    | POLL        1.7%    0.1 ms  1.7%    0.1 ms
                    | C1_ACPI     0.1%    | C1_ACPI     0.1%    0.1 ms  0.0%    0.8 ms
                    | C2_ACPI     0.8%    | C2_ACPI     1.5%    0.8 ms  0.0%    0.0 ms
                    | C3_ACPI    97.3%    | C3_ACPI    96.4%   48.8 ms 98.2%  254.2 ms

                    |            Core(OS) |            CPU(OS) 6   CPU(OS) 7
                    | POLL        1.7%    | POLL        1.7%    0.1 ms  1.7%    0.1 ms
                    | C1_ACPI     0.1%    | C1_ACPI     0.1%    0.1 ms  0.1%    0.2 ms
                    | C2_ACPI     0.5%    | C2_ACPI     0.5%    0.8 ms  0.6%    0.8 ms
                    | C3_ACPI    97.4%    | C3_ACPI    97.6%  153.9 ms 97.2%   39.2 ms

                    |            Core(OS) |            CPU(OS) 8   CPU(OS) 9
                    | POLL        1.7%    | POLL        1.7%    0.1 ms  1.7%    0.1 ms
                    | C1_ACPI     0.1%    | C1_ACPI     0.1%    0.1 ms  0.0%    0.7 ms
                    | C2_ACPI     0.2%    | C2_ACPI     0.4%    0.8 ms  0.1%    0.7 ms
                    | C3_ACPI    97.9%    | C3_ACPI    97.7%  129.7 ms 98.1%  172.2 ms

                    |            Core(OS) |            CPU(OS) 10  CPU(OS) 11
                    | POLL        1.7%    | POLL        1.7%    0.1 ms  1.7%    0.1 ms
                    | C1_ACPI     0.1%    | C1_ACPI     0.2%    0.2 ms  0.0%    0.0 ms
                    | C2_ACPI     0.2%    | C2_ACPI     0.3%    0.8 ms  0.0%    0.0 ms
                    | C3_ACPI    98.0%    | C3_ACPI    97.7%  116.7 ms 98.3%  244.9 ms

Het kan natuurlijk goed zijn dat ik ongeduldig ben, maar het lijkt mij toch dat de server na een aantal dagen wel eens een andere cstate zou moeten hebben gehad.

Ik heb 2 sata SSD's aangesloten en beide nvme sloten in gebruik, gelezen dat het laatste nog wat uit kan maken maar zorgt dit er dan voor dat ik niet lager dan 3 kom? Of mis ik nog ergens instellingen oid.

BIOS is vanuit de leverancier versie R2.12

Huidige verbruik zit nu op 10-12W met 2 VM's die dus eigenlijk niets doen.

Lees net dat ik voor mijn processor versie 2.5 van powertop moet hebben. Aangezien ik bijzonder weinig van linux weet: iemand een guide voor versie 2.15?

Geef ook even de output van de onderstasnde opdrachten in de shell

code:

lspci -vv | awk '/ASPM/{print $0}' RS= | grep --color -P '(^[a-z0-9:.]+|ASPM )'

en

code:

cat /sys/module/pcie_aspm/parameters/policy

en

code:

/sys/devices/system/cpu/cpu*/cpufreq/scaling_governor

Ik heb deze rechtstreeks van de post van Mitch gekopieerd. Maar met die bovenste zou je kunnen zien of je aspm overal aan staat

En als laatste test haal je netwerkkaart er eens uit? En probeer dan eens wat het verbruik is?

Ik had ook problemen hiermee. Maar ik heb de realtek dkms package geïnstalleerd. Dat scheelde ook.

[ Voor 3% gewijzigd door Guldan op 12-01-2025 16:05 ]

[Gijs007]

Paar weken terug een Reolink deurbel opgehangen, wou deze ook in Apple Homekit hebben, dus heb Scrypted in een LXC container draaien.
Verbruik van de server is nu wel met ongeveer 5 watt gestegen :*(
Zie in Proxmox helaas geen mogelijkheid om een LXC ..container te binden aan een bepaalde CPU core.

Had ook nog even met Frigate geëxperimenteer, maar dat verhoogt het CPU gebruik nog verder. Dit levert 20 watt hoger verbruik op... (ondanks Intel GPU offloading, en tweaks met camera streams, en lagere FPS voor detectie.)
Heb Frigate momenteel eigenlijk ook niet nodig, gezien Apple Homekit ook aan beeld (en gezichts) herkenning doet, dus heb dat voor nu uitgezet. Maar als ik t.z.t. op de carport een camera hang, en daar ook beeld herkenning wil, dan wil ik wellicht alsnog met Frigate aan de slag.

Iemand nog optimalisatie tips, als je dit soort applicaties draait?

Zit ook over het opslaan van de camera beelden te denken, die continue binnen komen.
Het handigste is om ze eerst naar de (Optane) SSD weg te schrijven, en dan periodiek naar de HDD's te syncen, zodat de HDD's zo veel mogelijk uit staan.
Zou zoiets op filesystem level kunnen worden gerealiseerd, met ZFS of Windows storage spaces, dan wel via een OS als TrueNAS?

[andru123]

@Tribunus het helpt om een inventaris te maken, of link naar jouw systeem, niet iedereen herinnert welke systeem het over gaat

[pimlie]

Mich schreef op donderdag 19 december 2024 @ 08:43:
https://www.kontron.com/en/products/k3836-q-r-mitx/p185718

Kwam net ook dit moederbord tegen, de K3836-R heeft een R680E chipset welke ongeveer hetzelfde is als de W680: dus ECC ondersteuning! Jammer dat het m-itx is en geen u-atx, het mobo heeft eigenlijk net te weinig i/o voor een NAS (maar 1x nvme en 4x sata). Zie zo snel 1 prijs van EUR 274 p/s ex btw bij een omdoos van 20 stuks (rutronik24.com).

[SuperCrisz]

Ik heb de kontron met een picoPSU + voeding gekocht. De Pico , adapter, cpu etc komt morgen binnen.

Heb alleen geen bracket besteld (link hieronder). Kan ik het moederbord dan wel van stroom voorzien zonder zo'n bracket?
uitvoering: Mini-box PCI Bracket

[latka]

SuperCrisz schreef op zondag 12 januari 2025 @ 21:42:
Ik heb de kontron met een picoPSU + voeding gekocht. De Pico , adapter, cpu etc komt morgen binnen.

Heb alleen geen bracket besteld (link hieronder). Kan ik het moederbord dan wel van stroom voorzien zonder zo'n bracket?
uitvoering: Mini-box PCI Bracket

Ja, neem een bracket en een boormachine dan heb je hetzelfde. Alternatief: er een beetje infrotten ;-) Mijn behuizing had al een doorvoer voor een 12v adapter. Het busjes+draad zit bij de pico PSU, dus aansluiten kan zowiezo.

[mrmrmr]

De meeste kasten hebben gaten. Wel goed om te voorkomen dat het metaal ergens contact maakt. Dat kan met isolatietape.

Voor zwaardere computers voorzie ik de voeding van een Molex Mini Fit Jr. connector. Dat geeft een stabiele verbinding.

[eheijnen]

SuperCrisz schreef op zondag 12 januari 2025 @ 21:42:
Ik heb de kontron met een picoPSU + voeding gekocht. De Pico , adapter, cpu etc komt morgen binnen.

Heb alleen geen bracket besteld (link hieronder). Kan ik het moederbord dan wel van stroom voorzien zonder zo'n bracket?
uitvoering: Mini-box PCI Bracket

Hier ook, gewoon een gaatje in de achterwand van de kast erbij geboord.

[Tribunus]

Guldan schreef op zondag 12 januari 2025 @ 16:01:
[...]


Geef ook even de output van de onderstasnde opdrachten in de shell

Ik heb deze rechtstreeks van de post van Mitch gekopieerd. Maar met die bovenste zou je kunnen zien of je aspm overal aan staat

En als laatste test haal je netwerkkaart er eens uit? En probeer dan eens wat het verbruik is?

Ik had ook problemen hiermee. Maar ik heb de realtek dkms package geïnstalleerd. Dat scheelde ook.

code:

00:06.0 PCI bridge: Intel Corporation 12th Gen Core Processor PCI Express x4 Controller #0 (rev 02) (prog-if 00 [Normal decode])
                LnkCap: Port #5, Speed 16GT/s, Width x4, ASPM L1, Exit Latency L1 <16us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
00:1a.0 PCI bridge: Intel Corporation Alder Lake-S PCH PCI Express Root Port #25 (rev 11) (prog-if 00 [Normal decode])
                LnkCap: Port #25, Speed 16GT/s, Width x4, ASPM L1, Exit Latency L1 <64us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
01:00.0 Non-Volatile memory controller: Sandisk Corp WD Blue SN580 NVMe SSD (DRAM-less) (rev 01) (prog-if 02 [NVM Express])
                LnkCap: Port #0, Speed 16GT/s, Width x4, ASPM L1, Exit Latency L1 <8us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
02:00.0 Non-Volatile memory controller: Sandisk Corp WD Blue SN580 NVMe SSD (DRAM-less) (rev 01) (prog-if 02 [NVM Express])
                LnkCap: Port #0, Speed 16GT/s, Width x4, ASPM L1, Exit Latency L1 <8us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+

code:

cat /sys/module/pcie_aspm/parameters/policy
default performance powersave [powersupersave]

code:

cat /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor
powersave
powersave
powersave
powersave

Er zit nog geen extra netwerkkaart in, dus heb alleen nog maar 2 SATA SSD's en 2 nvme's aangesloten op het moederbord.

andru123 schreef op zondag 12 januari 2025 @ 19:24:
@Tribunus het helpt om een inventaris te maken, of link naar jouw systeem, niet iedereen herinnert welke systeem het over gaat

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Core i5-13500 Boxed	€ 211,99	€ 211,99
1	Moederborden	Kontron K3843-B	€ 0,-	€ 0,-
1	Behuizingen	Inter-Tech IM-1 Pocket	€ 69,09	€ 69,09
1	Geheugen intern	Crucial CT2K32G48C40U5	€ 171,50	€ 171,50
1	Voedingen	be quiet! Pure Power 12 M 550W	€ 92,35	€ 92,35
2	SSD's	Crucial BX500 240GB	€ 18,20	€ 36,40
2	SSD's	WD Blue SN580 2TB	€ 108,99	€ 217,98
			Totaal	€ 799,31

Overigens heb ik nu powertop 2.15 geïnstalleerd en heb ik meer inzicht qua C states. Uiteraard opnieuw auto-tune gedaan:

code:

           Pkg(HW)  |            Core(HW) |            CPU(OS) 0   CPU(OS) 1
                    |                     | C0 active   8.9%        8.9%
                    |                     | POLL        9.4%    0.1 ms  9.4%    0.1 ms
                    |                     | C1_ACPI     0.1%    0.3 ms  0.1%    0.5 ms
C2 (pc2)    2.7%    |                     | C2_ACPI     1.7%    0.8 ms  0.5%    0.8 ms
C3 (pc3)    0.0%    | C3 (cc3)    0.0%    | C3_ACPI    88.2%   32.2 ms 89.4%   44.5 ms
C6 (pc6)   80.0%    | C6 (cc6)    0.8%    |
C7 (pc7)    0.0%    | C7 (cc7)   85.9%    |
C8 (pc8)    0.0%    |                     |
C9 (pc9)    0.0%    |                     |
C10 (pc10)  0.0%    |                     |

                    |            Core(HW) |            CPU(OS) 2   CPU(OS) 3
                    |                     | C0 active   8.9%        8.7%
                    |                     | POLL        9.4%    0.1 ms  9.4%    0.1 ms
                    |                     | C1_ACPI     0.1%    0.2 ms  0.1%    0.1 ms
                    |                     | C2_ACPI     1.0%    0.8 ms  0.1%    0.7 ms
                    | C3 (cc3)    0.0%    | C3_ACPI    88.7%   74.2 ms 90.2%  121.1 ms
                    | C6 (cc6)    0.9%    |
                    | C7 (cc7)   87.5%    |
                    |                     |
                    |                     |
                    |                     |

                    |            Core(HW) |            CPU(OS) 4   CPU(OS) 5
                    |                     | C0 active   9.6%        9.5%
                    |                     | POLL        9.4%    0.1 ms  9.4%    0.1 ms
                    |                     | C1_ACPI     0.0%    0.2 ms  0.1%    0.1 ms
                    |                     | C2_ACPI     0.4%    0.8 ms  0.0%    0.1 ms
                    | C3 (cc3)    0.0%    | C3_ACPI    89.9%   69.4 ms 90.3%  129.0 ms
                    | C6 (cc6)    0.3%    |
                    | C7 (cc7)   89.2%    |
                    |                     |
                    |                     |
                    |                     |

                    |            Core(HW) |            CPU(OS) 6   CPU(OS) 7
                    |                     | C0 active   9.6%        9.6%
                    |                     | POLL        9.4%    0.1 ms  9.4%    0.1 ms
                    |                     | C1_ACPI     0.0%    0.2 ms  0.0%    0.1 ms
                    |                     | C2_ACPI     0.5%    0.7 ms  0.2%    0.8 ms
                    | C3 (cc3)    0.0%    | C3_ACPI    89.8%   68.8 ms 90.1%   45.2 ms
                    | C6 (cc6)    0.4%    |
                    | C7 (cc7)   88.8%    |

Wat mij overigens ook opvalt is dat het verbruik behoorlijk grillig is. Het afgelopen uur is de minimale waarde 10W and de maximale waarde 34W, gemeten met een shelly plug S. is dat normaal gedrag? Plaatje:

[ Voor 3% gewijzigd door Tribunus op 13-01-2025 10:03 ]

[RobertMe]

Tribunus schreef op maandag 13 januari 2025 @ 09:36:
Wat mij overigens ook opvalt is dat het verbruik behoorlijk grillig is. Het afgelopen uur is de minimale waarde 10W and de maximale waarde 34W, gemeten met een shelly plug S. is dat normaal gedrag? Plaatje:
[Afbeelding]

Heb je het gebruik van de (P-)cores getuned? Zo nee gaat die voor elke zucht "het liefst" meteen in turbo boost op een P core draaien. Wat je daartegen kunt doen is processen "koppelen" aan een of meerdere E cores zodat ze uberhaupt niet op de P cores draaien, of de maximale frequentie van de P cores terugschroeven zodat deze gelijk aan, of onder, de base klok ligt. @Mars Warrior heeft daar veel over geschreven.

[Mich]

Tribunus schreef op maandag 13 januari 2025 @ 09:36:
[...]

code:

00:06.0 PCI bridge: Intel Corporation 12th Gen Core Processor PCI Express x4 Controller #0 (rev 02) (prog-if 00 [Normal decode])
                LnkCap: Port #5, Speed 16GT/s, Width x4, ASPM L1, Exit Latency L1 <16us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
00:1a.0 PCI bridge: Intel Corporation Alder Lake-S PCH PCI Express Root Port #25 (rev 11) (prog-if 00 [Normal decode])
                LnkCap: Port #25, Speed 16GT/s, Width x4, ASPM L1, Exit Latency L1 <64us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
01:00.0 Non-Volatile memory controller: Sandisk Corp WD Blue SN580 NVMe SSD (DRAM-less) (rev 01) (prog-if 02 [NVM Express])
                LnkCap: Port #0, Speed 16GT/s, Width x4, ASPM L1, Exit Latency L1 <8us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
02:00.0 Non-Volatile memory controller: Sandisk Corp WD Blue SN580 NVMe SSD (DRAM-less) (rev 01) (prog-if 02 [NVM Express])
                LnkCap: Port #0, Speed 16GT/s, Width x4, ASPM L1, Exit Latency L1 <8us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+

code:

cat /sys/module/pcie_aspm/parameters/policy
default performance powersave [powersupersave]

code:

cat /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor
powersave
powersave
powersave
powersave

Er zit nog geen extra netwerkkaart in, dus heb alleen nog maar 2 SATA SSD's en 2 nvme's aangesloten op het moederbord.


[...]

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Core i5-13500 Boxed	€ 211,99	€ 211,99
1	Moederborden	Kontron K3843-B	€ 0,-	€ 0,-
1	Behuizingen	Inter-Tech IM-1 Pocket	€ 69,09	€ 69,09
1	Geheugen intern	Crucial CT2K32G48C40U5	€ 171,50	€ 171,50
1	Voedingen	be quiet! Pure Power 12 M 550W	€ 92,35	€ 92,35
2	SSD's	Crucial BX500 240GB	€ 18,20	€ 36,40
2	SSD's	WD Blue SN580 2TB	€ 108,99	€ 217,98
			Totaal	€ 799,31

Overigens heb ik nu powertop 2.15 geïnstalleerd en heb ik meer inzicht qua C states. Uiteraard opnieuw auto-tune gedaan:

code:

           Pkg(HW)  |            Core(HW) |            CPU(OS) 0   CPU(OS) 1
                    |                     | C0 active   8.9%        8.9%
                    |                     | POLL        9.4%    0.1 ms  9.4%    0.1 ms
                    |                     | C1_ACPI     0.1%    0.3 ms  0.1%    0.5 ms
C2 (pc2)    2.7%    |                     | C2_ACPI     1.7%    0.8 ms  0.5%    0.8 ms
C3 (pc3)    0.0%    | C3 (cc3)    0.0%    | C3_ACPI    88.2%   32.2 ms 89.4%   44.5 ms
C6 (pc6)   80.0%    | C6 (cc6)    0.8%    |
C7 (pc7)    0.0%    | C7 (cc7)   85.9%    |
C8 (pc8)    0.0%    |                     |
C9 (pc9)    0.0%    |                     |
C10 (pc10)  0.0%    |                     |

                    |            Core(HW) |            CPU(OS) 2   CPU(OS) 3
                    |                     | C0 active   8.9%        8.7%
                    |                     | POLL        9.4%    0.1 ms  9.4%    0.1 ms
                    |                     | C1_ACPI     0.1%    0.2 ms  0.1%    0.1 ms
                    |                     | C2_ACPI     1.0%    0.8 ms  0.1%    0.7 ms
                    | C3 (cc3)    0.0%    | C3_ACPI    88.7%   74.2 ms 90.2%  121.1 ms
                    | C6 (cc6)    0.9%    |
                    | C7 (cc7)   87.5%    |
                    |                     |
                    |                     |
                    |                     |

                    |            Core(HW) |            CPU(OS) 4   CPU(OS) 5
                    |                     | C0 active   9.6%        9.5%
                    |                     | POLL        9.4%    0.1 ms  9.4%    0.1 ms
                    |                     | C1_ACPI     0.0%    0.2 ms  0.1%    0.1 ms
                    |                     | C2_ACPI     0.4%    0.8 ms  0.0%    0.1 ms
                    | C3 (cc3)    0.0%    | C3_ACPI    89.9%   69.4 ms 90.3%  129.0 ms
                    | C6 (cc6)    0.3%    |
                    | C7 (cc7)   89.2%    |
                    |                     |
                    |                     |
                    |                     |

                    |            Core(HW) |            CPU(OS) 6   CPU(OS) 7
                    |                     | C0 active   9.6%        9.6%
                    |                     | POLL        9.4%    0.1 ms  9.4%    0.1 ms
                    |                     | C1_ACPI     0.0%    0.2 ms  0.0%    0.1 ms
                    |                     | C2_ACPI     0.5%    0.7 ms  0.2%    0.8 ms
                    | C3 (cc3)    0.0%    | C3_ACPI    89.8%   68.8 ms 90.1%   45.2 ms
                    | C6 (cc6)    0.4%    |
                    | C7 (cc7)   88.8%    |

Wat mij overigens ook opvalt is dat het verbruik behoorlijk grillig is. Het afgelopen uur is de minimale waarde 10W and de maximale waarde 34W, gemeten met een shelly plug S. is dat normaal gedrag? Plaatje:
[Afbeelding]

Alles lijkt goed.

Ik zou die 2 data ssd's eens loskoppelen om te kijken wat dat doen. En anders ook nog de nvme die het dichtste bij de CPU zit.

[pimlie]

Gijs007 schreef op zondag 12 januari 2025 @ 18:51:
Paar weken terug een Reolink deurbel opgehangen, wou deze ook in Apple Homekit hebben, dus heb Scrypted in een LXC container draaien.
Verbruik van de server is nu wel met ongeveer 5 watt gestegen :*(
Zie in Proxmox helaas geen mogelijkheid om een LXC ..container te binden aan een bepaalde CPU core.

Had ook nog even met Frigate geëxperimenteer, maar dat verhoogt het CPU gebruik nog verder. Dit levert 20 watt hoger verbruik op... (ondanks Intel GPU offloading, en tweaks met camera streams, en lagere FPS voor detectie.)
Heb Frigate momenteel eigenlijk ook niet nodig, gezien Apple Homekit ook aan beeld (en gezichts) herkenning doet, dus heb dat voor nu uitgezet. Maar als ik t.z.t. op de carport een camera hang, en daar ook beeld herkenning wil, dan wil ik wellicht alsnog met Frigate aan de slag.

Iemand nog optimalisatie tips, als je dit soort applicaties draait?

Zit ook over het opslaan van de camera beelden te denken, die continue binnen komen.
Het handigste is om ze eerst naar de (Optane) SSD weg te schrijven, en dan periodiek naar de HDD's te syncen, zodat de HDD's zo veel mogelijk uit staan.
Zou zoiets op filesystem level kunnen worden gerealiseerd, met ZFS of Windows storage spaces, dan wel via een OS als TrueNAS?

Ik heb geen tips voor je helaas, maar dit is iets waar ik zelf ook al een tijdje naar aan het kijken ben. Het gerapporteerde stroomverbruik in dit topic betreft vooral idle verbruik, maar ik heb zelf ook een setup met verschillende services die eigenlijk nooit idle zijn. Dus ben zelf meer geinteresseerd in zuinig verbruik bij een gemiddelde belasting van ~50% op 1 core, helaas lijkt daar echter weinig info over te vinden.

Hetgene wat het dichts in de buurt komt zijn performance-per-watt statistieken denk ik, waarbij ARM processoren steevast hoog in de lijst staan. De stats van Jeff Geerling zijn daarbij het meest nuttig omdat hij daadwerkelijk stroomverbruik aan het stopcontact meet, veel andere stats zoals deze zijn gebaseerd op package power wat niet veel zegt over het totale systeemverbruik. Desalniettemin zijn die stats van geerling eigenlijk ook niet super relevant omdat ze genomen zijn bij 100% cpu gebruik wat ook niet echt vergelijkbaar is met de ~50% op 1 core wat ik als gemiddelde zie.

Zit er iig nu over te denken om een Pi5 als compute node in te zetten en dan 1x per dag data te syncen/backuppen van de Pi5 naar een NAS systeem. Enige wat me vooralsnog vooral tegenhoudt zijn de kosten, een complete Pi5 met pcie m2 storage extension board zit je ook al snel richting de E150 wat ook weer N100 terrein is...

[gastje01]

@Gijs007 De zuinige idle nummers die hier vaak voorbij komen haal ik zelf ook niet, maar dat komt omdat mijn setup ook een 3.5 Inch disk bevat. Ik draai op een Odroid H3 gemiddeld 12W, best netjes vond ik zelf aangezien mijn server nooit idle is.

Ik heb wel Frigate draaien met 3 camera's en sla alleen de beelden op waar ook daadwerkelijk iets gedetecteerd is. Verder kun je een hoop winnen met motion-masks (gebieden die genegeerd worden). Ik detecteer bijvoorbeeld personen, maar die verwacht ik niet in een boom, dus wapperende blaadjes worden genegeerd. Wanneer er daadwerkelij detectie is, gaat het verbruik wel omhoog (naar 16W ongeveer), maar dat komt maar beperkt voor.

[andru123]

Nog een N100 systeem getest door een Australische blogger - Soyo mini pc 7.6W idle without peripherals, 9.7W with.

[Mars Warrior]

Tribunus schreef op maandag 13 januari 2025 @ 09:36:
[...]

code:

00:06.0 PCI bridge: Intel Corporation 12th Gen Core Processor PCI Express x4 Controller #0 (rev 02) (prog-if 00 [Normal decode])
                LnkCap: Port #5, Speed 16GT/s, Width x4, ASPM L1, Exit Latency L1 <16us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
00:1a.0 PCI bridge: Intel Corporation Alder Lake-S PCH PCI Express Root Port #25 (rev 11) (prog-if 00 [Normal decode])
                LnkCap: Port #25, Speed 16GT/s, Width x4, ASPM L1, Exit Latency L1 <64us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
01:00.0 Non-Volatile memory controller: Sandisk Corp WD Blue SN580 NVMe SSD (DRAM-less) (rev 01) (prog-if 02 [NVM Express])
                LnkCap: Port #0, Speed 16GT/s, Width x4, ASPM L1, Exit Latency L1 <8us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
02:00.0 Non-Volatile memory controller: Sandisk Corp WD Blue SN580 NVMe SSD (DRAM-less) (rev 01) (prog-if 02 [NVM Express])
                LnkCap: Port #0, Speed 16GT/s, Width x4, ASPM L1, Exit Latency L1 <8us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+

code:

cat /sys/module/pcie_aspm/parameters/policy
default performance powersave [powersupersave]

code:

cat /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor
powersave
powersave
powersave
powersave

Er zit nog geen extra netwerkkaart in, dus heb alleen nog maar 2 SATA SSD's en 2 nvme's aangesloten op het moederbord.


[...]

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Core i5-13500 Boxed	€ 211,99	€ 211,99
1	Moederborden	Kontron K3843-B	€ 0,-	€ 0,-
1	Behuizingen	Inter-Tech IM-1 Pocket	€ 69,09	€ 69,09
1	Geheugen intern	Crucial CT2K32G48C40U5	€ 171,50	€ 171,50
1	Voedingen	be quiet! Pure Power 12 M 550W	€ 92,35	€ 92,35
2	SSD's	Crucial BX500 240GB	€ 18,20	€ 36,40
2	SSD's	WD Blue SN580 2TB	€ 108,99	€ 217,98
			Totaal	€ 799,31

Overigens heb ik nu powertop 2.15 geïnstalleerd en heb ik meer inzicht qua C states. Uiteraard opnieuw auto-tune gedaan:

code:

           Pkg(HW)  |            Core(HW) |            CPU(OS) 0   CPU(OS) 1
                    |                     | C0 active   8.9%        8.9%
                    |                     | POLL        9.4%    0.1 ms  9.4%    0.1 ms
                    |                     | C1_ACPI     0.1%    0.3 ms  0.1%    0.5 ms
C2 (pc2)    2.7%    |                     | C2_ACPI     1.7%    0.8 ms  0.5%    0.8 ms
C3 (pc3)    0.0%    | C3 (cc3)    0.0%    | C3_ACPI    88.2%   32.2 ms 89.4%   44.5 ms
C6 (pc6)   80.0%    | C6 (cc6)    0.8%    |
C7 (pc7)    0.0%    | C7 (cc7)   85.9%    |
C8 (pc8)    0.0%    |                     |
C9 (pc9)    0.0%    |                     |
C10 (pc10)  0.0%    |                     |

                    |            Core(HW) |            CPU(OS) 2   CPU(OS) 3
                    |                     | C0 active   8.9%        8.7%
                    |                     | POLL        9.4%    0.1 ms  9.4%    0.1 ms
                    |                     | C1_ACPI     0.1%    0.2 ms  0.1%    0.1 ms
                    |                     | C2_ACPI     1.0%    0.8 ms  0.1%    0.7 ms
                    | C3 (cc3)    0.0%    | C3_ACPI    88.7%   74.2 ms 90.2%  121.1 ms
                    | C6 (cc6)    0.9%    |
                    | C7 (cc7)   87.5%    |
                    |                     |
                    |                     |
                    |                     |

                    |            Core(HW) |            CPU(OS) 4   CPU(OS) 5
                    |                     | C0 active   9.6%        9.5%
                    |                     | POLL        9.4%    0.1 ms  9.4%    0.1 ms
                    |                     | C1_ACPI     0.0%    0.2 ms  0.1%    0.1 ms
                    |                     | C2_ACPI     0.4%    0.8 ms  0.0%    0.1 ms
                    | C3 (cc3)    0.0%    | C3_ACPI    89.9%   69.4 ms 90.3%  129.0 ms
                    | C6 (cc6)    0.3%    |
                    | C7 (cc7)   89.2%    |
                    |                     |
                    |                     |
                    |                     |

                    |            Core(HW) |            CPU(OS) 6   CPU(OS) 7
                    |                     | C0 active   9.6%        9.6%
                    |                     | POLL        9.4%    0.1 ms  9.4%    0.1 ms
                    |                     | C1_ACPI     0.0%    0.2 ms  0.0%    0.1 ms
                    |                     | C2_ACPI     0.5%    0.7 ms  0.2%    0.8 ms
                    | C3 (cc3)    0.0%    | C3_ACPI    89.8%   68.8 ms 90.1%   45.2 ms
                    | C6 (cc6)    0.4%    |
                    | C7 (cc7)   88.8%    |

Wat mij overigens ook opvalt is dat het verbruik behoorlijk grillig is. Het afgelopen uur is de minimale waarde 10W and de maximale waarde 34W, gemeten met een shelly plug S. is dat normaal gedrag? Plaatje:
[Afbeelding]

De SSD aan de CPU zorgt voor max C6. Niks aan te doen schijnt het.
Ik weet niet meer hoeveel watt het scheelt met C8. Dat heb ik niet meer paraat.

[Mich]

Mars Warrior schreef op maandag 13 januari 2025 @ 18:49:
[...]

De SSD aan de CPU zorgt voor max C6. Niks aan te doen schijnt het.
Ik weet niet meer hoeveel watt het scheelt met C8. Dat heb ik niet meer paraat.

Volgens mij was het max C8 als die aan de CPU hing. En in mijn 2e PC (een asus bordje) maakt het na een aantal BIOS updates helemaal niet meer uit. Als ik daar 2 nvme schijven ingang haal ik nog C10. Bij mijn kontron board nog niet geprobeerd of dit ook zo is.

[bjp]

@Mich het hangt mss ook af _welke_ NVME je er aan hangt.

[Mars Warrior]

Mich schreef op maandag 13 januari 2025 @ 19:10:
[...]
Volgens mij was het max C8 als die aan de CPU hing. En in mijn 2e PC (een asus bordje) maakt het na een aantal BIOS updates helemaal niet meer uit. Als ik daar 2 nvme schijven ingang haal ik nog C10. Bij mijn kontron board nog niet geprobeerd of dit ook zo is.

Dat was nog met BIOS R1.4. En die C6 weet ik zeker. Had ik in dit topic gezet namelijk.
Verschil tussen C8 en C10 niet waarneembaar qua verbruik.

Ik heb met BIOS R2.16 die ik nu heb niet meer getest of het wat uitmaakt. Server wordt gebruikt, dus dingen uitproberen gaat niet meer zo eenvoudig.

[Jazco2nd]

Er staat in de specs van de K3836-Q/R mITX het volgende:
PCIe x16: 1x 16 lanes, Gen5, Support for lane split (x16 or x8 + x8)

Maar je kan hier toch prima een Gen3 kaart in steken met 4x M.2 NVMe, dan krijg je x4 + x4 + x4 + x4 lane split op een lagere PCIe versie?

Ik heb begin vorig jaar deze kaart ( 10Gtek 4-Port M.2 NVMe PCIe 3.0 X16 Adapter Card M-Key) gekocht omdat ik dacht dat dit altijd wel in de toekomst in een x16 te prikken is mits het mobo bifurcation ondersteund.

Beetje jammer als moederbordfabrikanten met rare limieten voor bifurcation komen aanzetten..

Dit bordje zou ik namelijk ideaal vinden voor een zelfbouw zuinige server icm zo een kaart en wat zuinige M.2 ssds erop.

[ Voor 6% gewijzigd door Jazco2nd op 13-01-2025 21:44 ]

[HotSpot79]

Ik zit te twijfelen of ik voor een b660 of q670 kontron board ga. De iAMT van de Q chipset is interessant, maar met een gpu in de cpu heb ik die bmc functionaliteit denk niet nodig.

Is er een andere meer belangrijker functionaliteit die ik nog niet helemaal zie?

Cpu die ik heb is een i5 13500.

[HotSpot79]

Jazco2nd schreef op maandag 13 januari 2025 @ 21:38:
Er staat in de specs van de K3836-Q/R mITX het volgende:
PCIe x16: 1x 16 lanes, Gen5, Support for lane split (x16 or x8 + x8)

Maar je kan hier toch prima een Gen3 kaart in steken met 4x M.2 NVMe, dan krijg je x4 + x4 + x4 + x4 lane split op een lagere PCIe versie?

Ik heb begin vorig jaar deze kaart ( 10Gtek 4-Port M.2 NVMe PCIe 3.0 X16 Adapter Card M-Key) gekocht omdat ik dacht dat dit altijd wel in de toekomst in een x16 te prikken is mits het mobo bifurcation ondersteund.

Beetje jammer als moederbordfabrikanten met rare limieten voor bifurcation komen aanzetten..

Dit bordje zou ik namelijk ideaal vinden voor een zelfbouw zuinige server icm zo een kaart en wat zuinige M.2 ssds erop.

Wat ik zo geleerd heb is dat dit alleen gaat werken met een x570 AMD systeem. Een 4x x4 zit niet in de Intel CPU microcode.

Die 4x nvme kaartjes is voornamelijk bedoeld voor professionele servers.

[ Voor 3% gewijzigd door HotSpot79 op 13-01-2025 22:03 ]

[Jazco2nd]

HotSpot79 schreef op maandag 13 januari 2025 @ 21:53:
[...]


Wat ik zo geleerd heb is dat dit alleen gaat werken met een x570 AMD systeem. Een 4x x4 zit niet in de Intel CPU microcode.

Die 4x nvme kaartjes is voornamelijk bedoeld voor professionele servers.

De Fujitsu/Kontron D3644-B die ik nu heb met Intel Core i3 9100 zou het wel gewoon ondersteunen. Raar dat dit bij nieuwere borden en CPUs niet meer wordt ondersteund..

[mrmrmr]

@Jazco2nd Bifurcation is bij K384x moederborden bedoeld voor een riser van kennelijk 2 keer x8. Dat is ook de letterlijke betekenis van bifurcation (tweedeling).

Ik heb het zelf nooit getest of gezien, maar het gebruik van het x16 slot kan soms nadelig zijn voor de package C state voor Intel platforms. Misschien is er wel een workaround. Misschien kan iemand x4x4x4x4 met ervaring er meer over vertellen.

[Mars Warrior]

mrmrmr schreef op maandag 13 januari 2025 @ 22:59:
@Jazco2nd Bifurcation is bij K384x moederborden bedoeld voor een riser van kennelijk 2 keer x8. Dat is ook de letterlijke betekenis van bifurcation (tweedeling).

Ik heb het zelf nooit getest of gezien, maar het gebruik van het x16 slot kan soms nadelig zijn voor de package C state voor Intel platforms. Misschien is er wel een workaround. Misschien kan iemand x4x4x4x4 met ervaring er meer over vertellen.

Zou je die multi-vc disable ook met een script kunnen doen?

[Mich]

Mars Warrior schreef op maandag 13 januari 2025 @ 23:59:
[...]

Zou je die multi-vc disable ook met een script kunnen doen?

Guldan in "Het grote zuinige server topic - deel 3"

Zo kan je instellingen in je BIOS veranderen. Weet niet of het voor kontron borden werkt. Wel bij de grote merken in ieder geval. Ik had het getest op mijn asus bord en daar deed die settings niks.

[FireDrunk]

pimlie schreef op dinsdag 7 januari 2025 @ 12:03:
Heb de nieuwe bios met ASPM binnen, maar idle verbruik van het X1314 mobo met 14500T blijft steken op 31W en blijft grillig met regelmatige pieken naar ~55W. Zelfs als ik bijna alle processen pin op de E-cores en voor alle E-cores een scaling_max_freq zet van 1.2Ghz. De E-cores hebben met deze max frequentie een gemiddelde belasting van ~5-10%. Wat dat betreft denk ik dat ik beter de 12500T kan terug plaatsen want die had een zelfde verbruik zonder het gedoe van het moeten pinnen van processen.

Is er toevallig iemand anders hier met een W680 moederbord en een 14xxx series cpu? Zo ja, wat is jullie verbruik? @FireDrunk Ging jij niet een Asus WS Pro aanschaffen? @BasilFX Wat is jouw verbruik nu gemiddeld bij normaal gebruik, heb je toevallig een grafiekje dat je kan delen?

Ik heb een AMD bord getest, wat niet beviel (write up komt nog).
Nu een SuperMicro X13SAE klaarliggen om zometeen te testen.

[Mich]

pimlie schreef op zondag 12 januari 2025 @ 20:31:
[...]


Kwam net ook dit moederbord tegen, de K3836-R heeft een R680E chipset welke ongeveer hetzelfde is als de W680: dus ECC ondersteuning! Jammer dat het m-itx is en geen u-atx, het mobo heeft eigenlijk net te weinig i/o voor een NAS (maar 1x nvme en 4x sata). Zie zo snel 1 prijs van EUR 274 p/s ex btw bij een omdoos van 20 stuks (rutronik24.com).

Ze zijn deze pas q4 2024 gaan maken. Hopelijk komen ze binnenkort wat breder beschikbaar. Ik zelf zou hem ook wel willen. Micro atx is toch net te groot voor mijn meterkast 😁

[FireDrunk]

Ok, mijn writeup.

Ik zoek al wat langer naar een nieuwe setup voor mijn NAS, en wilde toch een keer kijken of ik een zuinige AMD setup kon maken. Na lang zoeken gekozen voor de ASUS PRIME X670-P-CSM met een AMD 5800G 8500G.
Het was een beetje een wilde gok, maar wilde het toch proberen.

De opties die ik graag wilde:
- minimaal 6 SATA
- ECC
- Ruimte voor 3x M.2 (al dan niet via PCIe of echte M.2 sloten)
- HDMI of DisplayPort uitgang (geen VGA...)

Allereerst het echt een prachtig bord met super veel features, en hij werkt eigenlijk gewoon prima, zij het niet dat ik er net niet helemaal tevreden over was.

Korte samenvatting:
- ~25W-30W idle met alle mogelijk truuks uit de kast gehaald
- Errors op de GPU, wordt niet goed herkend in Linux
- Veel vage USB errors (resets die niet lukken etc)
- Een aantal vage Resize Bar / PCIe errors
- AER errors (PCIe Advanced Error Reporting)

Iets langer:

Het verbruik was eigenlijk best OK, voor een AMD systeem met 6 cores en ECC geheugen is 25-30W best prima. Voeding is een Seasonic 760P Platinum, welke echt niet extreem goed is bij lage belastingen.
ASPM lijkt voor echt veel van de onboard devices goed te werken, op wat AMD devices na. Ik kreeg amper overzicht over het aantal PCIe devices dat ik zag, ik denk letterlijk wel een stuk of 20. Ik denk dat er maar een paar tussen zaten die geen goed L0+L1 ASPM deden, wat me best mee viel.

Toen ik alle devices forceerde op L0L1 met het ASPM script wat hier rond zwerft crashte het systeem na een paar minuten, dus dat was geen oplossing.

Het verbruik onder vollast van 6 cores was ~70W, wat echt heel netjes is voor de performance die je daar voor terugkrijgt. Dat doet mij ook concluderen dat het systeem voor iemand die een gemiddelde belasting heeft eigenlijk best een prima optie is.

Waarom ik dit specifieke moederbord toch teruggestuurd heb, is omdat ik dus veel USB errors had, en de interne GPU niet aan de praat kreeg. Hij gaf wel beeld, maar de driver gaf een initialisatie error, waardoor ook dingen als radeontop niet werkten en riepen dat het een unsupported GPU was.

Daarom toch maar gekozen om CPU en Moederbord terug te sturen en het Kingston DDR5 ECC geheugen wat ik er bij besteld had te houden.

Ik heb nu een SuperMicro X13SAE liggen. Zojuist geprobeerd icm een Intel i3-13100 en het Kingston geheugen, en de eerste resultaten zijn 19W idle. Maar daar moet ik nog verder mee testen.

[Raynman]

FireDrunk schreef op dinsdag 14 januari 2025 @ 09:53:
ASUS PRIME X670-P-CSM met een AMD 5800G.

Hier zijn wel specificaties van te vinden, maar het lijkt of hij nooit uitgebracht is. Ook heb je het over 6 cores en is dat bord AM5, dus een 8500G?

[FireDrunk]

Raynman schreef op dinsdag 14 januari 2025 @ 10:36:
[...]
Hier zijn wel specificaties van te vinden, maar het lijkt of hij nooit uitgebracht is. Ook heb je het over 6 cores en is dat bord AM5, dus een 8500G?

Goed gespot, was een typo idd

[pimlie]

FireDrunk schreef op dinsdag 14 januari 2025 @ 09:53:
Ik heb nu een SuperMicro X13SAE liggen. Zojuist geprobeerd icm een Intel i3-13100 en het Kingston geheugen, en de eerste resultaten zijn 19W idle. Maar daar moet ik nog verder mee testen.

Volgens Intel Ark zou de i3-13100 geen ECC ondersteunen? Of heb je ergens een i3-13100E weten te krijgen?

[TheMystery]

GoBieN-Be schreef op dinsdag 7 januari 2025 @ 21:25:
[...]

Met 4x 3,5" HDD's zal zuinigheid sowieso een uitdaging zijn. Je zal ze wellicht ook in RAID configureren waardoor standby moeilijk is.
Hoe minder schijven hoe beter, dus misschien even kijken als je met 2x WD RED (Pro) 18, 20 of 22TB niet toekomt (of desnoods 3)?

Toch nog even gekeken naar de HDD's met 24 of 26 tb kan ik op zich wel een aantal jaar vooruit en ik zou hierna nog een keer met 2 disken uit kunnen breiden en hier een vdev van maken in dezelfde pool.
is in stroom verbruik iig beter, zeker met uitbreiding want dan moet ik met 4 disken uitbreiden, en het is hierna met zfs ook makkelijker om nog eens 2 schijven toe te voegen, dus uiteindelijk wat flexibeler.

De wd red pro's zijn redelijk aan de prijs, maar de wd ultrastar is dan wat interessanter, zijn deze nu veel luidruchtiger? ik kom in dit topic wel seagate exos tegen welke wat ik lees nog luider zijn en het idle vermogen ook nog eens hoger.

IK zou dan hierop uit komen:

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Core i5-13500 Boxed	€ 211,99	€ 211,99
1	Moederborden	ASUS TUF Gaming B760M-PLUS II	€ 169,-	€ 169,-
2	Interne harde schijven	WD Ultrastar DC HC590, SATA, SE, 26TB	€ 552,-	€ 1.104,-
1	Behuizingen	Fractal Design Node 804	€ 112,-	€ 112,-
1	Geheugen intern	Corsair Vengeance CMK64GX5M2A4800C40	€ 172,60	€ 172,60
1	Voedingen	be quiet! Pure Power 12 M 550W	€ 92,05	€ 92,05
2	SSD's	WD Black SN850X (zonder heatsink) 2TB	€ 144,99	€ 289,98
			Totaal	€ 2.151,62

Misschien zou een ander moderbord dan nog een optie zijn, maar de uitbreidingen kunnen altijd handig zijn.

[Sypher]

Ik heb sinds 2016 een HP Microserver Gen8 in mijn meterkast draaien met daarop Proxmox en (momenteel) 24 LXC containers en 1 VM (tbv Home Assistant).

Huidige specs:

• 16GB RAM
• E3-1265LV2 CPU ipv bijgeleverde Celeron
• Samsung SSD 860 EVO 500GB tbv OS + containers + (basic) storage hiervan
• 1x TOSHIBA HDWQ140 4TB
• 1x WDC WD40EFRX-68N32N0 4TB
• 4x USB (Zigbee, Zwave, DSMR, UPS)

Disk usage voor beide disks is ongeveer 50%. Disks worden na een paar minuten inactiviteit uitgeschakeld. Wellicht is 20TB wel een (zwaar) overkill en zou ik met 10TB ook uit de voeten kunnen.

Het exacte verbruik weet ik niet, maar dat zal ergens rond de 50-60W zitten schat ik?

Naar aanleiding van dit topic ben ik aan het oriënteren naar een vervanger hiervoor.
Hoewel het opzich nog prima draait, is het qua disk performance (vooral writes) niet om over naar huis te schrijven.

Ik heb (o.a. aan de hand van dit topic) nu deze opzet op het oog:

Beoogde setup

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Core i5-13500 Boxed	€ 211,99	€ 211,99
1	Moederborden	Kontron K3843-B	€ 189,-	€ 189,-
1	Interne harde schijven	Toshiba MG10 (SATA, Standaard, 512e), 20TB	€ 345,-	€ 345,-
1	Behuizingen	Jonsbo C6 Black	€ 44,90	€ 44,90
1	Processorkoeling	Noctua NH-L9i-17xx	€ 44,90	€ 44,90
1	Geheugen intern	Crucial CT2K32G48C40U5	€ 171,50	€ 171,50
1	Voedingen	Mini-box PicoPSU-90 + 84W (Fortron) Adapter Power Kit	€ 81,75	€ 81,75
1	SSD's	WD Black SN770 1TB	€ 70,99	€ 70,99
1	SSD's	WD Black SN770 2TB	€ 119,99	€ 119,99
1	Overige componenten	Mini-box PCI Bracket	€ 0,-	€ 0,-
			Totaal	€ 1.280,02

PCI-bracket zal waarschijnlijk gewoon een 3D-print of boor-actie moeten gaan worden, aangezien deze ook niet (meer) verkrijgbaar lijkt te zijn.

Case
Een aandachtspunt voor mijn nieuwe setup is dat hij in de meterkast moet passen en dus maximaal 30x30cm diep en breed kan zijn. Dat zou met de Jonsbo C6 net lukken.

Heb ook gekeken naar mini-ITX maar dan hebben de mainboards (iig van Kontron) maar 1 NVME voor storage.
De Jonsbo C6 heeft echter alleen maar plek voor 1x 3.5" dus zal hier een grotere schijf voor gekozen moeten worden ipv meerdere losse. Is qua stroomverbruik wel beter, qua slijtage spreiding weer iets minder..

Gezien de temperatuur in de meterkast denk ik dat een extra (Noctua) fan wellicht wel raadzaam is.

Zal ivm gebruik van PicoPSU nog wel iets van een afdekplaatje moeten fabriceren om het voeding-slot af te sluiten.

Storage
De 2TB SSD wil ik gaan inzetten voor OS + containers + (basic) storage hiervoor. Dat draait nu op een 500GB disk dus aanzienlijk meer ruimte, al heb ik dat niet direct nodig. Ik gebruik Alpine containers op LXC dus de footprint is (zeer) klein.

Apps die veel data opslaan (zoals Immich) wil ik in principe (direct) naar de SATA disk laten wegschrijven.

De 1TB SSD wil ik als "scratch disk" gebruiken waar data tijdelijk uitgepakt/ingepakt kan worden voor het naar de SATA disk gaat, zodat dit proces een stuk sneller verloopt. Daar wil ik liever de 2TB SSD niet voor gebruiken ivm de levensduur hiervan.
Zou als alternatief ook meer geheugen in de server kunnen stoppen en een ramdisk gebruiken, maar dat is 141% duurder dan deze 1TB SSD.

Hier ben ik nog niet helemaal over uit wat wijsheid is, ben benieuwd naar de mening van anderen hierover.

Voeding
Vraag me af of de voeding niet over- onderbemeten is voor deze opzet?

Networking
Nadeel van het moederbord is dat hij maar 1x Gbit poort heeft, mijn Microserver heeft er 2 en die heb ik geteamed. Wellicht zal ik aan deze beoogde setup de uitvoering: Delock PCI Express x1 Card to 2 x RJ45 2.5 Gigabit LAN RTL8125 kunnen toevoegen. Hoewel mijn netwerk nog Gbit is, is de server dan wel voorbereid en kan ik weer NIC-teaming toepassen.

---

Ik ben benieuwd of jullie nog verbeter- en/of aandachtspunten zien in bovenstaande beoogde opzet.

[FireDrunk]

pimlie schreef op dinsdag 14 januari 2025 @ 11:10:
[...]


Volgens Intel Ark zou de i3-13100 geen ECC ondersteunen? Of heb je ergens een i3-13100E weten te krijgen?

Good call, ik had de i3-13100 nog liggen, vandaar dat ik die gepakt heb.
Ik ging er vanuit dat Intel tegenwoordig op vrijwel alle CPU's ECC support had.

Dat wordt een nieuwe bestellen Ah well.

[bjp]

vraag is of ECC echt nog nodig is bij DDR5. Het heeft al een deel error-detectie en correctie, zelf de non-ECC variant.

[RobertMe]

FireDrunk schreef op dinsdag 14 januari 2025 @ 13:23:
[...]

Good call, ik had de i3-13100 nog liggen, vandaar dat ik die gepakt heb.
Ik ging er vanuit dat Intel tegenwoordig op vrijwel alle CPU's ECC support had.

Dat wordt een nieuwe bestellen Ah well.

Was het niet omgekeerd? Dat Intel ECC overal af heeft gehaald zodat je een Xeon / server CPU moet kopen. Volgens mij zat het heel erg vroeger op vele CPUs en bij de 9th gen nog alleen op i3 en Pentium en is het nu foetsie?

[pimlie]

TheMystery schreef op dinsdag 14 januari 2025 @ 11:20:
Toch nog even gekeken naar de HDD's met 24 of 26 tb kan ik op zich wel een aantal jaar vooruit en ik zou hierna nog een keer met 2 disken uit kunnen breiden en hier een vdev van maken in dezelfde pool.
is in stroom verbruik iig beter, zeker met uitbreiding want dan moet ik met 4 disken uitbreiden, en het is hierna met zfs ook makkelijker om nog eens 2 schijven toe te voegen, dus uiteindelijk wat flexibeler.

De wd red pro's zijn redelijk aan de prijs, maar de wd ultrastar is dan wat interessanter, zijn deze nu veel luidruchtiger? ik kom in dit topic wel seagate exos tegen welke wat ik lees nog luider zijn en het idle vermogen ook nog eens hoger.

Je kan ook naar refurbished disks kijken, datablocks heeft nu een aanbieding van 26TB voor EUR 400.

Als je veel data hebt is het verstandig om onderscheid te maken tussen actieve & passieve data. B.v. een download disk die continue actief is en een opslag array die het grootste deel van de dag powered down is behalve als je data importeert of bekijkt. Dus niet alles op 1 zpool waar al je data op staat, want dan moet de hele zpool continue actief zijn. Om dit goed te laten werken zal je ook je software daarop moeten configureren.

Sypher schreef op dinsdag 14 januari 2025 @ 11:28:
PCI-bracket zal waarschijnlijk gewoon een 3D-print of boor-actie moeten gaan worden, aangezien deze ook niet (meer) verkrijgbaar lijkt te zijn.

...
Storage
De 2TB SSD wil ik gaan inzetten voor OS + containers + (basic) storage hiervoor. Dat draait nu op een 500GB disk dus aanzienlijk meer ruimte, al heb ik dat niet direct nodig. Ik gebruik Alpine containers op LXC dus de footprint is (zeer) klein.

Apps die veel data opslaan (zoals Immich) wil ik in principe (direct) naar de SATA disk laten wegschrijven.

De 1TB SSD wil ik als "scratch disk" gebruiken waar data tijdelijk uitgepakt/ingepakt kan worden voor het naar de SATA disk gaat, zodat dit proces een stuk sneller verloopt. Daar wil ik liever de 2TB SSD niet voor gebruiken ivm de levensduur hiervan.
Zou als alternatief ook meer geheugen in de server kunnen stoppen en een ramdisk gebruiken, maar dat is 141% duurder dan deze 1TB SSD.

Hier ben ik nog niet helemaal over uit wat wijsheid is, ben benieuwd naar de mening van anderen hierover.

PCI bracket: https://www.minipc.de/catalog/il/1855

Gezien de TBW van de WD Black download je dus continue met meer dan 8Mb/s? Zo niet dan zou je die black's prima ook als scratch disks moeten gebruiken. Koop anders 1x 4TB en zorg er voor dat je die under-provisioned zodat de nvme veel extra spare blocks heeft.

[FireDrunk]

RobertMe schreef op dinsdag 14 januari 2025 @ 14:40:
[...]

Was het niet omgekeerd? Dat Intel ECC overal af heeft gehaald zodat je een Xeon / server CPU moet kopen. Volgens mij zat het heel erg vroeger op vele CPUs en bij de 9th gen nog alleen op i3 en Pentium en is het nu foetsie?

ECC Support in intel 13/14th cpu's:
i5-13500 (https://www.intel.com/con...tions.html?wapkw=i5-13500)
i5-14500 (https://www.intel.com/con...tions.html?wapkw=i5-14500)
i7-13700 (https://www.intel.com/con...tions.html?wapkw=i7-13700)
i9-13900 (https://www.intel.com/con...tions.html?wapkw=i9-13900)
i9-13900K (https://www.intel.com/con...ions.html?wapkw=i9-13900k)

GEEN ECC Support:
i3-13100 (https://www.intel.com/con...tions.html?wapkw=i3-13100)
i3-14100 (https://www.intel.com/con...tions.html?wapkw=i3-14100)
i5-13400 (https://www.intel.com/con...tions.html?wapkw=i5-13400)
i5-14400 (https://www.intel.com/con...tions.html?wapkw=i5-14400)
i9-13900H (https://www.intel.com/con...ions.html?wapkw=i9-13900h)

Het is dus als ik het zo bekijk vanaf ~xx500 series CPU's supported.


Pricewatch linkje voor Intel 13/14th gen *MET* ECC support:
categorie: Processors

[ Voor 7% gewijzigd door FireDrunk op 14-01-2025 14:50 ]

[pimlie]

@RobertMe Nee, niet geheel. Zie bv deze compare tussen alle 13th gen i3 processoren: https://www.intel.com/con...2169,232151,235072,235075

Verschil zit hem daar vnl tussen embedded & desktop/mobile. Alhoewel ook niet alle embedded procs ECC ondersteunen doen de meeste het wel.

[doebbalapoent11]

ben van plan om met wat familieleden (uitwonend) samen een apparaatje neer te zetten met een goeie 10-12TB aan schijven om daar een jellyfin servertje van te maken. we zijn met max 4 streams tegelijk bezig, allemaal op moderne iphones, laptops of desktops. enkel mijn LG c2 oled gaat gebruik maken van de jellyfin app van webOS. idee is om dus om met absolute max maar 4x een 4k stream te laten lopen tegelijk. De NAS hoeft niks anders te doen dan enkel Jellyfin hosten met onze gezamelijke medialibrary. Onze medialibrary bestaat grotendeels uit onze fysieke collectie bluray discs en dvds die we over de jaren heen via MP hebben weten te bemachtigen.

ben ik te optimistisch als ik denk dat dit allemaal goed kan op een n100 moederbord met 16gb ram en een simpele 90w pico voeding? Zo ja, wat zou dan beter zijn in dit geval? We proberen het geheel niet al te duur te maken en een laag stroomverbruik zou ook erg fijn zijn.

[RobertMe]

doebbalapoent11 schreef op dinsdag 14 januari 2025 @ 15:05:
ben van plan om met wat familieleden (uitwonend) samen een apparaatje neer te zetten met een goeie 10-12TB aan schijven om daar een jellyfin servertje van te maken. we zijn met max 4 streams tegelijk bezig, allemaal op moderne iphones, laptops of desktops. enkel mijn LG c2 oled gaat gebruik maken van de jellyfin app van webOS. idee is om dus om met absolute max maar 4x een 4k stream te laten lopen tegelijk. De NAS hoeft niks anders te doen dan enkel Jellyfin hosten met onze gezamelijke medialibrary. Onze medialibrary bestaat grotendeels uit onze fysieke collectie bluray discs en dvds die we over de jaren heen via MP hebben weten te bemachtigen.

ben ik te optimistisch als ik denk dat dit allemaal goed kan op een n100 moederbord met 16gb ram en een simpele 90w pico voeding? Zo ja, wat zou dan beter zijn in dit geval? We proberen het geheel niet al te duur te maken en een laag stroomverbruik zou ook erg fijn zijn.

Als je geen transcoding doet zal dat vast prima gaan. Maar als het echt om blu-ray rips gaat hoop ik wel dat je glasvezel hebt, want die kunnen meer dan 100Mbit/s aantikken qua bitrate en dus moet je ook op die snelheid (x3 users buiten de deur = 300Mbit/s) kunnen uploaden.

Ga je wel transcoden wordt het een ander verhaal. Dan wil je sowieso hardware based transcoding doen. Dat zal de N100 waarschijnlijk wel aan kunnen v.w.b. 1 stream, maar wederom 33 tegelijkertijd? Dat lijkt mij lastig(er). Ik transcode wel eens iets van 4K naar 720p op een N5105 die minder dan de N100 is. Dat gaat wel, maar is geen blu-ray rip natuurlijk. Laat staan 3 tegelijkertijd.

[doebbalapoent11]

RobertMe schreef op dinsdag 14 januari 2025 @ 15:28:
[...]

Als je geen transcoding doet zal dat vast prima gaan. Maar als het echt om blu-ray rips gaat hoop ik wel dat je glasvezel hebt, want die kunnen meer dan 100Mbit/s aantikken qua bitrate en dus moet je ook op die snelheid (x3 users buiten de deur = 300Mbit/s) kunnen uploaden.

Ga je wel transcoden wordt het een ander verhaal. Dan wil je sowieso hardware based transcoding doen. Dat zal de N100 waarschijnlijk wel aan kunnen v.w.b. 1 stream, maar wederom 33 tegelijkertijd? Dat lijkt mij lastig(er). Ik transcode wel eens iets van 4K naar 720p op een N5105 die minder dan de N100 is. Dat gaat wel, maar is geen blu-ray rip natuurlijk. Laat staan 3 tegelijkertijd.

heb zelf thuis 4gbit internet liggen dus dat loopt wel los. transcoden geen idee eerlijk gezegd. ik lees dat overal en nergens over van alles, in mijn ogen streamen we allemaal gewoon de originele kwaliteit omdat we moderne hardware en rappe internetverbindingen hebben. kan ook voor de zwakke verbindingen films alvast downsizen natuurlijk. lijkt me niet nodig om te transcoden als het gewoon op moderne iphones en laptops/desktops wordt gestreamed toch?

[RobertMe]

doebbalapoent11 schreef op dinsdag 14 januari 2025 @ 15:33:
[...]

heb zelf thuis 4gbit internet liggen dus dat loopt wel los. transcoden geen idee eerlijk gezegd. ik lees dat overal en nergens over van alles, in mijn ogen streamen we allemaal gewoon de originele kwaliteit omdat we moderne hardware en rappe internetverbindingen hebben. kan ook voor de zwakke verbindingen films alvast downsizen natuurlijk. lijkt me niet nodig om te transcoden als het gewoon op moderne iphones en laptops/desktops wordt gestreamed toch?

Als de client hardware gewoon modern genoeg is om het af te spelen en de "lijn" (LAN of in dit geval dan ook jouw upload + download bij de kijkers) snel genoeg is dan is transcoden inderdaad niet nodig.

[doebbalapoent11]

RobertMe schreef op dinsdag 14 januari 2025 @ 15:37:
[...]

Als de client hardware gewoon modern genoeg is om het af te spelen en de "lijn" (LAN of in dit geval dan ook jouw upload + download bij de kijkers) snel genoeg is dan is transcoden inderdaad niet nodig.

en anders maar alles in normale dvd kwaliteit opslaan zodat men niet zulke stevige verbinding nodig heeft. zonder transcoding kan zo'n n100 makkelijk 4 streams aan tegelijk lijkt mij in ieder geval. voor ondertiteling is wel transcoding nodig?

[Mars Warrior]

FireDrunk schreef op dinsdag 14 januari 2025 @ 14:49:
[...]


ECC Support in intel 13/14th cpu's:
i5-13500 (https://www.intel.com/con...tions.html?wapkw=i5-13500)
i5-14500 (https://www.intel.com/con...tions.html?wapkw=i5-14500)
i7-13700 (https://www.intel.com/con...tions.html?wapkw=i7-13700)
i9-13900 (https://www.intel.com/con...tions.html?wapkw=i9-13900)
i9-13900K (https://www.intel.com/con...ions.html?wapkw=i9-13900k)

GEEN ECC Support:
i3-13100 (https://www.intel.com/con...tions.html?wapkw=i3-13100)
i3-14100 (https://www.intel.com/con...tions.html?wapkw=i3-14100)
i5-13400 (https://www.intel.com/con...tions.html?wapkw=i5-13400)
i5-14400 (https://www.intel.com/con...tions.html?wapkw=i5-14400)
i9-13900H (https://www.intel.com/con...ions.html?wapkw=i9-13900h)

Het is dus als ik het zo bekijk vanaf ~xx500 series CPU's supported.


Pricewatch linkje voor Intel 13/14th gen *MET* ECC support:
categorie: Processors

Maar was het niet zo dat de chipset het ook moet ondersteunen? Anders zou elk B660 bord (dus Kontron) het moeten hebben. Maar dat is niet zo

Dacht dat enkel W680 chipset ECC ondersteund voor 13/14gen.

[FireDrunk]

Mars Warrior schreef op dinsdag 14 januari 2025 @ 15:47:
[...]

Maar was het niet zo dat de chipset het ook moet ondersteunen? Anders zou elk B660 bord (dus Kontron) het moeten hebben. Maar dat is niet zo

Dacht dat enkel W680 chipset ECC ondersteund voor 13/14gen.

Oh zeker, je hebt inderdaad een W of C series chipset nodig. Op mijn X13SAE zit een W680 Chipset.

[pimlie]

FireDrunk schreef op dinsdag 14 januari 2025 @ 16:09:
[...]

Oh zeker, je hebt inderdaad een W of C series chipset nodig. Op mijn X13SAE zit een W680 Chipset.

Of R680E. Volgens https://www.intel.com/con...?productIds=218834,227844 is het voornaamste verschil met de W680 chipset dat de R680E geen geheugen overclocking of Intel Optane ondersteunt.

[andru123]

Sypher schreef op dinsdag 14 januari 2025 @ 11:28:
Ik ben benieuwd of jullie nog verbeter- en/of aandachtspunten zien in bovenstaande beoogde opzet.

Adapter is wat krap voor i5. Mijn i5 trekt max tot 130W uit het stopkonakt (idle 5W). Ik zou picoPSU 150/160 nemen met min. 120W adapter, tenzij je gaat CPU op max verbruik vergrendelen (vrij makkelijk te doen en voor een zuinige server is altijd goed)
Je hebt een aparte CPU cooler niet nodig, Intel stock cooler is goed genoeg. Als je meer ventilatie wilt, best een 120-140mm ventilator voor 10€ toe te voegen.
Koop een goede energiemeter, paar 10 tjes is altijd een goede investering, end dan weet je zeker wat je apparaten in huis gebruiken. Link staat in de topic start.

[ Voor 13% gewijzigd door andru123 op 14-01-2025 17:01 ]

[mrmrmr]

@Sypher

De voeding kan wel als de belasting beperkt blijft en er maximaal 1 hard disk is. Sowieso is het uitschakelen van turbo van belang. De TDP van de processor kan worden beperkt tot het vermogen van de voeding: tot 55-70W.

Heb je echt 2.5 Gbps nodig? Streaming heeft vaak al genoeg aan 50 Mbps.

[Sypher]

andru123 schreef op dinsdag 14 januari 2025 @ 16:40:
[...]

Adapter is wat krap voor i5. Mijn i5 trekt max tot 130W uit het stopkonakt (idle 5W). Ik zou picoPSU 150/160 nemen met min. 120W adapter, tenzij je gaat CPU op max verbruik vergrendelen (vrij makkelijk te doen en voor een zuinige server is altijd goed)

Oh wow, ik dacht dat 90W meer dan voldoende zou moeten zijn en had de 160 die ik voorheen in mijn opzet had juist vervangen door deze 😅

Je hebt een aparte CPU cooler niet nodig, Intel stock cooler is goed genoeg. Als je meer ventilatie wilt, best een 120-140mm ventilator voor 10€ toe te voegen.

De andere CPU koeler is voornamelijk gekozen vanuit geluids-perspectief. De Microserver heeft geen CPU fan, alleen een koelblok. En daarnaast ivm de warmte in de meterkast.

Koop een goede energiemeter, paar 10 tjes is altijd een goede investering, end dan weet je zeker wat je apparaten in huis gebruiken. Link staat in de topic start.

Ik heb overal meetpluggen tussen zitten, van de meterkast weet ik alleen het totaal verbruik. Dat is incl UPS, PoE injectors voor de AP's, router, switch, NTU. Misschien dat ik voor deze nieuwe build een extra plug er tussen zet voor de server alleen zodat deze individueel te meten is..

mrmrmr schreef op dinsdag 14 januari 2025 @ 17:19:
@Sypher

De voeding kan wel als de belasting beperkt blijft en er maximaal 1 hard disk is. Sowieso is het uitschakelen van turbo van belang. De TDP van de processor kan worden beperkt tot het vermogen van de voeding: tot 55-70W.

De case support max 1x 3.5", er zullen dus geen extra disks bij (kunnen) komen.

Heb je echt 2.5 Gbps nodig? Streaming heeft vaak al genoeg aan 50 Mbps.

Nee, heb sowieso nog geen andere apparatuur die 2.5 aan kan. Voor nu zou het 2x1Gbit NIC-teaming worden.

[ Voor 18% gewijzigd door Sypher op 14-01-2025 17:29 ]

[andru123]

Sypher schreef op dinsdag 14 januari 2025 @ 17:26:
Oh wow, ik dacht dat 90W meer dan voldoende zou moeten zijn en had de 160 die ik voorheen in mijn opzet had juist vervangen door deze 😅

wat mrmrmr zegt - je kan prima met 90W picoPSU, als je de TDP beperkt, er zit ruime boven marge voor evt. spikes. En TDP beperken is altijd verstandig voor een server, omdat bij Intel CPUs alles boven 80W is energie verspilling (grof gezegd). PicoPSU 90 scheelt je ~0,5W ten opzichte van 160 (zie de posts boven).
Mijn Intel stock cooler hoor ik bijna nooit (staat in de woonkamer bij TV)

[andru123]

FireDrunk schreef op dinsdag 14 januari 2025 @ 14:49:
Pricewatch linkje voor Intel 13/14th gen *MET* ECC support:
categorie: Processors

@RobertMe @Sypher als ik naar de preizen kijk, lijkt de 14400 een nobrainer voor 170€. En toch kiezen mensen 13500 voor 215€. Waarom?
De Intel 14 gen overheating problemen? Ik dacht het was opgelost met firmware en PL beperking, en zowiezo allen was voor i7 en i9?
Of omdat 14de gen verbruikt meer in idle dan 13de? (volgens tweakers metingen zonder optimalizaties)

[bjp]

je kan idd veel beperken (via BIOS), zonder al te veel verlies van performance. Ik heb bijvoorbeeld max 50W op een i7-14700. Mijn picoPSU kan dat perfect aan.

Ik twijfel zelf om de P-cores helemaal af te zetten (heb toch 12 E-cores).

[Mich]

Sypher schreef op dinsdag 14 januari 2025 @ 11:28:
Ik heb sinds 2016 een HP Microserver Gen8 in mijn meterkast draaien met daarop Proxmox en (momenteel) 24 LXC containers en 1 VM (tbv Home Assistant).

Huidige specs:

• 16GB RAM
• E3-1265LV2 CPU ipv bijgeleverde Celeron
• Samsung SSD 860 EVO 500GB tbv OS + containers + (basic) storage hiervan
• 1x TOSHIBA HDWQ140 4TB
• 1x WDC WD40EFRX-68N32N0 4TB
• 4x USB (Zigbee, Zwave, DSMR, UPS)

Disk usage voor beide disks is ongeveer 50%. Disks worden na een paar minuten inactiviteit uitgeschakeld. Wellicht is 20TB wel een (zwaar) overkill en zou ik met 10TB ook uit de voeten kunnen.

Het exacte verbruik weet ik niet, maar dat zal ergens rond de 50-60W zitten schat ik?

Naar aanleiding van dit topic ben ik aan het oriënteren naar een vervanger hiervoor.
Hoewel het opzich nog prima draait, is het qua disk performance (vooral writes) niet om over naar huis te schrijven.

Ik heb (o.a. aan de hand van dit topic) nu deze opzet op het oog:

Beoogde setup

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Core i5-13500 Boxed	€ 211,99	€ 211,99
1	Moederborden	Kontron K3843-B	€ 189,-	€ 189,-
1	Interne harde schijven	Toshiba MG10 (SATA, Standaard, 512e), 20TB	€ 345,-	€ 345,-
1	Behuizingen	Jonsbo C6 Black	€ 44,90	€ 44,90
1	Processorkoeling	Noctua NH-L9i-17xx	€ 44,90	€ 44,90
1	Geheugen intern	Crucial CT2K32G48C40U5	€ 171,50	€ 171,50
1	Voedingen	Mini-box PicoPSU-90 + 84W (Fortron) Adapter Power Kit	€ 81,75	€ 81,75
1	SSD's	WD Black SN770 1TB	€ 70,99	€ 70,99
1	SSD's	WD Black SN770 2TB	€ 119,99	€ 119,99
1	Overige componenten	Mini-box PCI Bracket	€ 0,-	€ 0,-
			Totaal	€ 1.280,02

PCI-bracket zal waarschijnlijk gewoon een 3D-print of boor-actie moeten gaan worden, aangezien deze ook niet (meer) verkrijgbaar lijkt te zijn.

Case
Een aandachtspunt voor mijn nieuwe setup is dat hij in de meterkast moet passen en dus maximaal 30x30cm diep en breed kan zijn. Dat zou met de Jonsbo C6 net lukken.

Heb ook gekeken naar mini-ITX maar dan hebben de mainboards (iig van Kontron) maar 1 NVME voor storage.
De Jonsbo C6 heeft echter alleen maar plek voor 1x 3.5" dus zal hier een grotere schijf voor gekozen moeten worden ipv meerdere losse. Is qua stroomverbruik wel beter, qua slijtage spreiding weer iets minder..

Gezien de temperatuur in de meterkast denk ik dat een extra (Noctua) fan wellicht wel raadzaam is.

Zal ivm gebruik van PicoPSU nog wel iets van een afdekplaatje moeten fabriceren om het voeding-slot af te sluiten.

Storage
De 2TB SSD wil ik gaan inzetten voor OS + containers + (basic) storage hiervoor. Dat draait nu op een 500GB disk dus aanzienlijk meer ruimte, al heb ik dat niet direct nodig. Ik gebruik Alpine containers op LXC dus de footprint is (zeer) klein.

Apps die veel data opslaan (zoals Immich) wil ik in principe (direct) naar de SATA disk laten wegschrijven.

De 1TB SSD wil ik als "scratch disk" gebruiken waar data tijdelijk uitgepakt/ingepakt kan worden voor het naar de SATA disk gaat, zodat dit proces een stuk sneller verloopt. Daar wil ik liever de 2TB SSD niet voor gebruiken ivm de levensduur hiervan.
Zou als alternatief ook meer geheugen in de server kunnen stoppen en een ramdisk gebruiken, maar dat is 141% duurder dan deze 1TB SSD.

Hier ben ik nog niet helemaal over uit wat wijsheid is, ben benieuwd naar de mening van anderen hierover.

Voeding
Vraag me af of de voeding niet over- onderbemeten is voor deze opzet?

Networking
Nadeel van het moederbord is dat hij maar 1x Gbit poort heeft, mijn Microserver heeft er 2 en die heb ik geteamed. Wellicht zal ik aan deze beoogde setup de uitvoering: Delock PCI Express x1 Card to 2 x RJ45 2.5 Gigabit LAN RTL8125 kunnen toevoegen. Hoewel mijn netwerk nog Gbit is, is de server dan wel voorbereid en kan ik weer NIC-teaming toepassen.

---

Ik ben benieuwd of jullie nog verbeter- en/of aandachtspunten zien in bovenstaande beoogde opzet.

Ik ben heel lang op zoek geweest naar een kleine micro atx kast maar kom ook niet veel verder. Eigenlijk wil ik een kast zonder ruimte voor voeding en gpu maar de vraag in de markt zal wel heel klein zijn naar dit soort kasten.

Je kan ook kijken naar een kontron k3842-q2 of k3841-q. Die hebben wel 2 Lan poorten.

[FireDrunk]

andru123 schreef op dinsdag 14 januari 2025 @ 17:59:
[...]

@RobertMe @Sypher als ik naar de preizen kijk, lijkt de 14400 een nobrainer voor 170€. En toch kiezen mensen 13500 voor 215€. Waarom?
De Intel 14 gen overheating problemen? Ik dacht het was opgelost met firmware en PL beperking, en zowiezo allen was voor i7 en i9?
Of omdat 14de gen verbruikt meer in idle dan 13de? (volgens tweakers metingen zonder optimalizaties)

4 extra cores en een snellere gpu voor 40 eu. Meh, tis niet perse slechte deal.

[bjp]

14de verbruikt *iets* meer in idle, maar heeft ook meer cache typisch (opgepast, sommige zijn 13de of zelf 12de met nieuwe naam).

[ Voor 3% gewijzigd door bjp op 14-01-2025 18:23 ]

[HotSpot79]

andru123 schreef op dinsdag 14 januari 2025 @ 17:59:
[...]

@RobertMe @Sypher als ik naar de preizen kijk, lijkt de 14400 een nobrainer voor 170€. En toch kiezen mensen 13500 voor 215€. Waarom?
De Intel 14 gen overheating problemen? Ik dacht het was opgelost met firmware en PL beperking, en zowiezo allen was voor i7 en i9?
Of omdat 14de gen verbruikt meer in idle dan 13de? (volgens tweakers metingen zonder optimalizaties)

13500 ondersteunt iAMT dat doet bijvoorbeeld de 14400 niet. Uiteraard werkt dat alleen met het juiste moederbord met de juiste chipset. Maar dat zal niet voor iedereen een must item zijn.

[andru123]

HotSpot79 schreef op dinsdag 14 januari 2025 @ 18:26:
[...]


13500 ondersteunt iAMT dat doet bijvoorbeeld de 14400 niet. Uiteraard werkt dat alleen met het juiste moederbord met de juiste chipset. Maar dat zal niet voor iedereen een must item zijn.

Ik heb ergens op twitter een reclame gezien van een tiny KVM-achtige doos dat aan de USB poort hangt en laat de PC remote beheren. Verbruik spec. was 1W. Zou het niet betere oplossing zijn?

[RobertMe]

andru123 schreef op dinsdag 14 januari 2025 @ 18:37:
[...]

Ik heb ergens op twitter een reclame gezien van een tiny KVM-achtige doos dat aan de USB poort hangt en laat de PC remote beheren. Verbruik spec. was 1W. Zou het niet betere oplossing zijn?

Het verbruik van Intel AMT is ook nihil. Bron: mijn Fujisu D3644-B1 met i3-9100 . En met Intel AMT heb je natuurlijk geen extra hardware, bekabeling, etc nodig. Want zo'n KVM zal op zijn minst eigen ethernet nodig hebben.

Voordeel van die KVM zal zijn dat die multifunctioneel is. Intel AMT zit op mijn "nu NAS". Servertje en zelfbouw router hebben geen AMT. Zelfbouw router heeft dan weer wel een fysieke serial console poort waar ik op kan inpluggen, servertje niet. En Intel AMT is v.w.b. "KVM" AFAIK nogal afhankelijk van specifieke software en dat zal hopelijk bij die KVM oplossingen die er nu zijn niet het geval zijn. Maar ik gebruik AMT alleen om de NAS on demand aan te zetten en dat kan prima via de web UI.

[HotSpot79]

andru123 schreef op dinsdag 14 januari 2025 @ 18:37:
[...]

Ik heb ergens op twitter een reclame gezien van een tiny KVM-achtige doos dat aan de USB poort hangt en laat de PC remote beheren. Verbruik spec. was 1W. Zou het niet betere oplossing zijn?

Voor aan/uit zetten en beeld is het prima. Maar een bmc is zoveel meer dan dat. Ik heb met dergelijke bmc, temperatuur problemen kunnen analyseren die er voor zorgde dat de gehele server niet bereikbaar/hing. Een tiny kvm zou dan ook niet meer werken.

Dus af en toe heeft het meer waarde. Maar of het noodzakelijk is, kan iedereen een mening over hebben.

[GoBieN-Be]

FireDrunk schreef op dinsdag 14 januari 2025 @ 09:53:
...
Het verbruik was eigenlijk best OK, voor een AMD systeem met 6 cores en ECC geheugen is 25-30W best prima. Voeding is een Seasonic 760P Platinum, welke echt niet extreem goed is bij lage belastingen.
...

Mijn test met een AMD Ryzen 7 3700X met 8 cores, 8GB RAM, NVME + SATA SSD op een Gigabyte moederbord met BMC/IPMI haalt 18W idle met PicoPSU 160
.

[Sypher]

Mich schreef op dinsdag 14 januari 2025 @ 18:14:
[...]


Ik ben heel lang op zoek geweest naar een kleine micro atx kast maar kom ook niet veel verder. Eigenlijk wil ik een kast zonder ruimte voor voeding en gpu maar de vraag in de markt zal wel heel klein zijn naar dit soort kasten.

Je kan ook kijken naar een kontron k3842-q2 of k3841-q. Die hebben wel 2 Lan poorten.

De k3841-q heeft er zelfs 3 blijkbaar. 2x 2.5 en 1x 1gbit die ook iAMT aan kan (Core i5 13500 support dat ook). Die kan best interessant zijn, aangezien ik voor mijn ILO een alternatief moet zoeken. Dacht eerst aan een JetKVM maar dat hoeft dan misschien niet eens.

Wel een heel duur bord, EUR 382,- excl verzendkosten.

[ Voor 8% gewijzigd door Sypher op 15-01-2025 08:49 ]

[FireDrunk]

GoBieN-Be schreef op dinsdag 14 januari 2025 @ 23:55:
[...]


Mijn test met een AMD Ryzen 7 3700X met 8 cores, 8GB RAM, NVME + SATA SSD op een Gigabyte moederbord met BMC/IPMI haalt 18W idle met PicoPSU 160
.

Dat is denk ik vrijwel gelijk aan mijn setup, grootste verschil zal de PicoPSU vs mijn dikke 760W voeding zijn.

[TheMystery]

Ben nog steeds wat mobo's aan het vergelijken, maar welke van deze 2 zou voor toekomstige uitbreidingen nu het handigste zijn, kijkend naar de toekomst om misschien met extra sata / nvme en een 10gb nic uit te breiden:

uitvoering: ASUS TUF Gaming B760M-PLUS
Uitbreidingsslots 1x PCI-e 4.0 x1, 1x PCI-e 4.0 x16, 1x PCI-e 5.0 x16 (x16 slots worden volgens mij niet terug gezet naar x8 als je beide x16 slots gebruikt)
Hardeschijf bus (intern) 2x M.2 (PCI-e 4.0 x4), 4x SATA-600

iommu groups: https://linux-hardware.org/?probe=2735aaa5fb&log=lspci
qua iommu groups nog wel interessant aangezien deze 2 afzonderlijke usb controllers heeft mocht ik toch problemen hebben om usb sticks door te zetten naar mijn home assistant vm (gebruik er 4)

uitvoering: ASUS TUF Gaming B760M-PLUS II
Uitbreidingsslots 1x PCI-e 3.0 x1, 1x PCI-e 4.0 x4, 1x PCI-e 5.0 x16 (nadeel 3x1 slot maar zou eventueel een 4x sata op aangesloten kunnen worden)
Hardeschijf bus (intern) 1x M.2 (PCI-e 4.0 x2), 2x M.2 (PCI-e 4.0 x4), 4x SATA-600 (voordeel 3x m2)
iommu groups: https://linux-hardware.org/?probe=9666b7dd0c&log=lspci

[bjp]

reminder: intel B760 of B660 hebben problemen met lage C-state voor usb-serial devices (niet lager dan C3).

zie https://gathering.tweaker...message/79887108#79887108

[andru123]

Hehe, @TheMystery als je 4 usb sticks, 10G netwerk kaart, extra Sata controller, (en dan ook een videokaart bovenop), maakt niet echt uit welke MB je kiest, het wordt alles behalve zuinig dan kijk meer voor extra uitbreiding slots, tbh, omdat 10G netwerk kan al meer verbruiken dan de hele MB+CPU.

[ Voor 17% gewijzigd door andru123 op 15-01-2025 16:20 ]

[TheMystery]

bjp schreef op woensdag 15 januari 2025 @ 14:58:
reminder: intel B760 of B660 hebben problemen met lage C-state voor usb-serial devices (niet lager dan C3).

zie https://gathering.tweaker...message/79887108#79887108

Hmm oké, welk chipset / board zou dan nog goede opties zijn?

[mrmrmr]

TheMystery schreef op woensdag 15 januari 2025 @ 16:50:
[...]


Hmm oké, welk chipset / board zou dan nog goede opties zijn?

In wezen installeer je dan een driver voor RS232 via USB die geen ASPM ondersteund. Daar zit vermoedelijk het probleem. Zodra er een device is dat geen ASPM ondersteund komt de package C state typisch in de lage regionen terecht, bijvoorbeeld C3.

In zo'n geval ligt het aan het apparaat dat je aansluit, niet aan het moederbord/chipset.

[TheMystery]

andru123 schreef op woensdag 15 januari 2025 @ 16:07:
Hehe, @TheMystery als je 4 usb sticks, 10G netwerk kaart, extra Sata controller, (en dan ook een videokaart bovenop), maakt niet echt uit welke MB je kiest, het wordt alles behalve zuinig dan kijk meer voor extra uitbreiding slots, tbh, omdat 10G netwerk kan al meer verbruiken dan de hele MB+CPU.

Videokaart zie ik vanaf, leek leuk maar kan beter voor paar cent per dag dan OpenAI gebruiken.

Bedenk me net dat in mijn nas ook nog 2 usb devices zitten, dus heb er totaal 6 en nog een usb hhd voor backup;
Ik heb hetvolgende:
Zigbee slea.sh stick (zou ik een smlight slzb-06 voor aan kunnen schaffen)
Jablotron ja-82t
Rfxcom xl
Dsmr kabel (zou ik naar een esp kunnen zetten)
Google coral
2X smargo smartreader
Dus daar zal vast wel een serial tussen zitten dus waarschijnlijk niet zuinig te krijgen.
Maar hopelijk zuiniger als de 3 devices die ik nu heb draaien.

Blijft de vraag staan welk bord het handigste is qua uitbreidingen.

[ Voor 3% gewijzigd door TheMystery op 15-01-2025 17:09 ]

[mrmrmr]

@TheMystery Het is niet zozeer specifiek RS232, maar een driver of apparaat dat aangeeft of het wel of niet ASPM ondersteunt om de een of andere reden. Dat is moeilijk voorspelbaar. Met zoveel add-ons is er inderdaad kans dat een of meer van die onderdelen zoiets heeft.

[Mich]

mrmrmr schreef op woensdag 15 januari 2025 @ 16:56:
[...]


In wezen installeer je dan een driver voor RS232 via USB die geen ASPM ondersteund. Daar zit vermoedelijk het probleem. Zodra er een device is dat geen ASPM ondersteund komt de package C state typisch in de lage regionen terecht, bijvoorbeeld C3.

In zo'n geval ligt het aan het apparaat dat je aansluit, niet aan het moederbord/chipset.

Het ligt wel iets genuanceerder denk ik. Een zigbee, zwave en een p1 port in mijn Intel nuc 8 verbruiken alles bij elkaar 3.5W.

Alleen een van deze USB gebruikers op mijn B660 bord aansluiten laat het verbruik met 8 a 9W stijgen. Zelfde linux versie. Op het Intel forum zijn er diverse klachten topics over.

[bjp]

idd, het ligt echt wel aan B660/B760. Er zijn genoeg andere chipsets met een usb-serial dat wel werkt, zonder het verbruik dusdanig te verhogen.

ik heb voor deze reden, mijn zigbee USB stick naar een RPi verhuisd + de config van zigbee2mqtt moeten aanpassen om deze 'remote' aan te sturen.

Nota: de Pi draaide 'toch' al als 2de Adguard server (backup als de main uitvalt) & octopi.

[ Voor 46% gewijzigd door bjp op 15-01-2025 18:29 ]

[TheMystery]

Alleen vind ik weinig andere chipsets voor een microATX bord, dus wordt dan testen wat het verbruik wordt.

[pimlie]

Ter info, Kontron zegt dat de K3836-R 'will reach mass production status' volgende maand. Dus nog even geduld hebben...

[Mars Warrior]

bjp schreef op woensdag 15 januari 2025 @ 18:27:
idd, het ligt echt wel aan B660/B760. Er zijn genoeg andere chipsets met een usb-serial dat wel werkt, zonder het verbruik dusdanig te verhogen.

ik heb voor deze reden, mijn zigbee USB stick naar een RPi verhuisd + de config van zigbee2mqtt moeten aanpassen om deze 'remote' aan te sturen.

Nota: de Pi draaide 'toch' al als 2de Adguard server (backup als de main uitvalt) & octopi.

Ik heb ook geen enkele USB poort in gebruik op mijn Kontron K3843 server. En ik heb ook een backup DNS op een RPI draaien, dus toen was het heel simpel om de sticks daarin te duwen en via serial-over-tcp/ip eea te connecten.

Was inderdaad een mega wijziging in Zigbee2Mqtt en DSMR Reader

[Mars Warrior]

Als powertop de bekende acpi states weergeeft, kan powertop dan nog een goede auto-tune doen?

Asking for a friend

Halverwege het plaatje zie je de C-state problematiek. c3/6/8/10 zijn invalid. Is dit een kernel probleem?

En het is voor het eerst dat ik een PL4 instelling zie (330W). PL1/2 zijn 125/190W.

[ Voor 72% gewijzigd door Mars Warrior op 18-01-2025 20:58 ]

[mrmrmr]

--auto-tune gaat hoofdzakelijk over onderdelen.

Ik denk dat er in de terugval op ACPI C state weergave een cosmetische component is en een inhoudelijke. Het lijkt niet zo te zijn dat als ACPI wordt weergegeven een laag verbruik niet kan worden gehaald bij bepaalde borden en er is geen (merkbaar) verschil met verschillende versie van powertop (v2.14 en v2.15 trunk najaar 2023). Het lijkt voornamelijk te gaan om het niet herkennen van processoren door powertop als het over cosmetische verschillen gaat.

Dus mijn korte antwoord zou zijn: ik denk het wel.

De powertop package voor de testing (Trixie, v13.0) versie van Debian gebruikt een nieuwe shared library, die is dus niet probleemloos te installeren op Bookworm, er is geen backport. Daarom gebruik ik een zelfgecompileerde versie met dezelfde packagestructuur als de huidige versie voor Bookworm. Trixie zou ergens dit jaar verschijnen. Gebaseerd op de stand van zaken misschien ergens van juni en tot en met augustus volgens Phoronix.

[mrmrmr]

@Mars Warrior
Bij deze computer is het duidelijk dat de kernel de processor niet snapt, wegens het terugvallen op ACPI. Kernel niveau, dus buiten bereik van powertop.

turbostat zal wel hetzelfde resultaat geven.

Is dit een Meteor Lake processor?

[Mars Warrior]

mrmrmr schreef op zaterdag 18 januari 2025 @ 21:52:
@Mars Warrior
Bij deze computer is het duidelijk dat de kernel de processor niet snapt, wegens het terugvallen op ACPI. Kernel niveau, dus buiten bereik van powertop.

Irritant dus.

turbostat zal wel hetzelfde resultaat geven.

Dit is de output van turbostat

Is dit een Meteor Lake processor?

Nope. Een Intel 13900K (8P/16E) als vervanging van een Intel 12700K. (8P/4E)..

Ik heb inmiddels de Kontron BIOS gereset, of "Load Optimal Defaults".

• De BIOS zag nog de 12700K (8P/4E, PL1=125W, PL2=190W)
• Na een reset ziet de BIOS gedeeltelijk de 13900K (8P/8E ipv 8P/16E, PL1=125W, PL2=240W, PL4=330W)

Ik krijg dus het vermoeden dat er een probleem is met de Kontron BIOS R2.16.

Na deze reset is het verbruik (onder load van 40 containers) wel met 2W gedaald tov de situatie dat de BIOS maar 4 E-Cores zag. Als dat betekent dat als de overige 8 E-Cores ook gezien worden dat het verbruik nogmaals met 4W zakt, dan kom ik onder de 10W uit. Dat zou netjes zijn!

Ik zie nog steeds die verotte ACPI states.

• Turbostat geeft nu wel de C6/C7 CPU states weer
• E-cores doen maar C6 vziw
• Het 2de deel van Turbostat doet wel een poging de Pkg C-states te tonen, maar die zijn dus 0

Ik heb geen idee waar nu de fout zit. Als het Kontron is, dan kan ik ff niks meer doen. Als Ubuntu/Linux 6.8 niet tegen een CPU wissel kan, dan zou ik graag willen weten hoe ik dit kan oplossen

[Mars Warrior]

Los van de problemen hierboven blijkt de 13900K weer een stuk efficienter te zijn dan de 12900K/12700K, zolang je maar PL1/PL2 limieten stelt, of zoals ik doe: per CPU max freq limieten.

Omdat ik wat grote containers ben gaan draaien (werk dingen uitzoeken) had ik een aantal cores extra nodig omdat deze applicaties gewoon minimaal 8 cores eisen. En die containers zijn nogal aan het ouwehoeren, dus veel verbruik dat ik op de E-cores wilde hebben. Vandaar de upgrade.

Volgens Intel is de CB score van een 13900K @ 65W net zo hoog als die van een 12900K @ 241W
Ze hebben de frequency / voltage curve aangepast. Dat zou 200Mhz bij hetzelfde voltage opleveren.



Als ik naar de Club386 cijfers kijk (CB punten / Power uit muur), dan klopt dit ook aardig.

13900K:



12900K:




Anandtech laat ook al een mooie kromme zien bij wisselende PL1's en dat je voor 30% meer punten uiteindelijk 100% meer power nodig hebt...



De 100-125 PL1 range ziet er dus aantrekkelijk uit.

En mijn servertje? Wat geeft turbostat als PP (Package Power) weer bij een stressng van alle CPU's?

CPU	PP	Toelichting
12700K	85W	P-cores op 2.5-4.5Ghz, E-cores op 2.5Ghz
13900K	172W	P-cores op 2.5-4.5Ghz, 4xE-cores op 2.5Ghz, 12xE-cores op 4.3Ghz
13900K	121W	Verwachting met 12 extra E-cores@2.5Ghz, en 3W per core
13900K	100W	P-cores op 2.5-4.5Ghz, 16xE-cores op 2.5Ghz

Oeps: 12 E-cores@2.5Ghz verbruiken dus 72W minder als 12 E-cores@4.3Ghz. Dat scheelt 72W, oftewel exact 6W per core!

Verder is het praktijkverbruik 21W lager dan verwacht: de E-cores (en P-cores denk ik) zijn dus echt een pak zuiniger geworden. Tov de 85W komt er voor die 12 E-cores 15W bij. Dat is bijna niks.

In InfluxDB is ook te zien dat PP lager is geworden. Alleen dat zie ik dus door problemen nog niet helemaal terug in het uiteindelijke verbruik.

[pimlie]

@Mars Warrior Omdat het een beetje jouw ding, waarom schrijf je anders niet een bash benchmark scriptje dat automatisch die stress tests uitvoert bij min/base/max frequency voor P/E-cores en de resultaten in een tabelletje uitpoept?

Zou het best interessant vinden om jouw getallen te vergelijken met mijn 14500, maar dan zou een benchmark scriptje het handigst zijn zodat we zeker weten dat we alles op dezelfde manier meten

[Mars Warrior]

pimlie schreef op zondag 19 januari 2025 @ 15:26:
@Mars Warrior Omdat het een beetje jouw ding, waarom schrijf je anders niet een bash benchmark scriptje dat automatisch die stress tests uitvoert bij min/base/max frequency voor P/E-cores en de resultaten in een tabelletje uitpoept?

Leuk idee, maar ben niet zo'n held in Linux, laat staan in bash scripts.

Wie weet kan ChatGPT of Mistral dit voor mijn doen. Dat is een vraag waard...

Zou het best interessant vinden om jouw getallen te vergelijken met mijn 14500, maar dan zou een benchmark scriptje het handigst zijn zodat we zeker weten dat we alles op dezelfde manier meten

O ja, dan kun je inderdaad op basis van Package Power eea vergelijken!

[Mars Warrior]

@pimlie Hier komt ChatGPT nu mee. Geen idee of dit werkt... E-cores doen geen 4.5Ghz, dus dan zou ik bijv. tot 4Ghz testen ofzo...

Kontron kapt de PL2 ook snel af, dus alles boven de 125W ga je niet echt meten...

code:

#!/bin/bash

# Output file
OUTPUT_FILE="cpu_power_results.csv"
echo "Core Type,Core ID,Max Frequency (kHz),Package Power (W)" > "$OUTPUT_FILE"

# Identify P-cores and E-cores
P_CORES=($(lscpu | grep -oP "CPU\(s\):\s+\d+" | awk '{print $2}' | head -n 8))
E_CORES=($(lscpu | grep -oP "CPU\(s\):\s+\d+" | awk '{print $2}' | tail -n 16))

P_CORES=(0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15)
E_CORES=(16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31)

# Define frequency levels to test
FREQUENCY_LEVELS=(2000000 2500000 3000000 3100000 3200000 3300000 3400000 3500000 4000000 4300000)

# Function to set maximum frequency for a core
function set_max_freq() {
    CORE_ID=$1
    FREQ=$2
    echo "$FREQ" > "/sys/devices/system/cpu/cpu${CORE_ID}/cpufreq/scaling_max_freq"
}

# Function to measure package power using RAPL
function measure_power() {
    local ENERGY_START=$(cat /sys/class/powercap/intel-rapl:0/energy_uj)
    local TIME_START=$(date +%s.%N)  # Record the precise start time

    # Run stress-ng for a defined duration
    stress-ng --cpu 0 --timeout 10s > /dev/null 2>&1

    local ENERGY_END=$(cat /sys/class/powercap/intel-rapl:0/energy_uj)
    local TIME_END=$(date +%s.%N)  # Record the precise end time

    # Calculate energy consumed (in Joules)
    local ENERGY_CONSUMED=$(echo "scale=6; ($ENERGY_END - $ENERGY_START) / 1000000" | bc)

    # Calculate duration (in seconds)
    local TIME_DIFF=$(echo "$TIME_END - $TIME_START" | bc)

    # Calculate power (Watts)
    local POWER=$(echo "scale=6; $ENERGY_CONSUMED / $TIME_DIFF" | bc)
    echo "$POWER"
}

# Test each frequency level for P-cores and E-cores
for FREQ in "${FREQUENCY_LEVELS[@]}"; do
    for CORE in "${P_CORES[@]}"; do
        set_max_freq $CORE $FREQ
#        POWER=$(measure_power)
#        echo "P-Core,$CORE,$FREQ,$POWER" >> "$OUTPUT_FILE"
    done

    for CORE in "${E_CORES[@]}"; do
        set_max_freq $CORE $FREQ
#        POWER=$(measure_power)
#        echo "E-Core,$CORE,$FREQ,$POWER" >> "$OUTPUT_FILE"
    done
    POWER=$(measure_power)
    echo "$FREQ,$POWER" >> "$OUTPUT_FILE"
done

Na wat wijzigingen gaat het wel wat doen. Heb wel P en E cores lijsten nu vastgezet.

Maar dan zie je dit bijv:

Het zijn GHz en Wattage (PP). Alle cores draaien op dezelfde frequentie. Verbruik neemt lekker toe boven de 3Ghz. Dat zullen de E-cores wel zijn...

Nu eigenlijk nog een dubbele loop: dus per P-core frequentie de hele rits aan E-core frequenties...

Die E-cores gaan helemaal uit hun dak als de frequentie toeneemt lijkt het.

Van 2Ghz naar 4.3Ghz is 106W extra verdeeld over de 16 E-cores. Dat is 6,6W per core.
De stap van 2.5Ghz naar 2.75Ghz gaat nog (5W), maar bij 3Ghz is het al 9W meer.

Tabel is PCORE FREQ, ECORE_FREQ, PP

code:

2000000,2000000,31.945258
2000000,2250000,33.569275
2000000,2500000,39.527210
2000000,2750000,44.634176
2000000,3000000,53.009382
2000000,3100000,58.285565
2000000,3200000,64.083856
2000000,3300000,70.335631
2000000,3400000,76.316829
2000000,3500000,83.214095
2000000,3600000,91.523307
2000000,3700000,100.810307
2000000,3800000,111.164169
2000000,3900000,123.259586
2000000,4000000,137.489860
2000000,4300000,138.656425

[ Voor 49% gewijzigd door Mars Warrior op 19-01-2025 16:59 ]

[andru123]

@Mars Warrior probeer eens Windows, dan weet je zeker of het door BIOS of OS komt. Of misch de CPU..

[andru123]

Ik heb nog een paar adapters getest, inclusief 19V adapters van Dell. Ook heb ik paar USB-C adapters gemeten, met behulp van USB-C trigger (zoals hier genoemd). USB-C adapters zijn verbazend efficient, tot 98% op bepaalde spanning (maar niet op 12V).
@mrmrmr horen de test resultaten hier of in dat andere topic of beter een aparte topic creëren, ik wil die metingen ergens kwijt. Ik denk dat wij gaan meer en meer USB-C adapters zien in de toekomst, hoezeer ongepast het voor servers, gaat het wel die richting, zo te zien.

[mrmrmr]

@andru123
Jouw keuze, kan allebei. Je hebt ook een Adapter Tech ATS200T-P120 getest. Daar wilde ik al heel lang meer van weten.

De site meldt over deze adapter: CEC, DoE Level VI, Energy Star, ErP Stage 2, CoC Tier 2, NRCan & GEMS Level VI.

De laatste jaren zijn er GaN laders met USB stekker, heel geschikt voor het laden laptops want ze zijn klein en efficient (dus relatief koel) tijdens laden, bij hoge last. Maar GaN lijkt niet zo geschikt voor lage lasten. Adapter Tech heeft ook een GaN adapter.

[andru123]

mrmrmr schreef op zondag 19 januari 2025 @ 16:58:
@andru123
Jouw keuze, kan allebei. Je hebt ook een Adapter Tech ATS200T-P120 getest. Daar wilde ik al heel lang meer van weten.

De site meldt over deze adapter: CEC, DoE Level VI, Energy Star, ErP Stage 2, CoC Tier 2, NRCan & GEMS Level VI.

De laatste jaren zijn er GaN laders met USB stekker, heel geschikt voor het laden laptops want ze zijn klein en efficient (dus relatief koel) tijdens laden, bij hoge last. Maar GaN lijkt niet zo geschikt voor lage lasten. Adapter Tech heeft ook een GaN adapter.

Ik ben vrij teleurgesteld met ATS200T, het haalt zelfs level VI niet. Misch. heb ik een oude exemplaar, 2de hands gekocht, en nieuwere zijn beter. Ga ik nog een keer hertesten met betere connector/draden (maar het zal meer uitmaken op hogere stromen)
@Le Mol @Nutral hebben ook ATS200T-P120. Wat zijn jouw metingen/ervaring?

[ Voor 4% gewijzigd door andru123 op 19-01-2025 18:07 ]

[Mars Warrior]

Grafiekjes

En aangepaste grafiekjes
De aangepaste grafiekjes zijn met een aangepast script dat hoge en lage frequenties afwisselt, waardoor het Kontron bord niet tegen PL2 limieten aanloopt.

Origineel:



Aangepast:
We zien hier mooie rechte lijnen en het plafond van ca 160W PP.



Origineel:



Aangepast:
Ook hier zie je het plafond van 160W aardig terug!

Verder natuurlijk de drastische afname in efficientie van de E-cores boven de 3.2Ghz. Daaronder is er pet stap ca 3W benodigd voor alle E-cores en erboven 10W of meer: een verdrievoudiging!



Origineel:



Aangepast:




En de code die deze data oplevert (hard gecodeerd voor de 13900K met 8P en 16E cores):

Bash:

#!/bin/bash

# Output file
OUTPUT_FILE="cpu_power_results.csv"
echo "P-Freq, E-Freq,Package Power (W)" > "$OUTPUT_FILE"

# Identify P-cores and E-cores. Hard-coded for 13900K
P_CORES=(0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15)
E_CORES=(16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31)

# Define frequency levels to test
FREQUENCY_LEVELS=(2000000 2250000 2500000 2750000 3000000 3100000 3200000 3300000 3400000 3500000 3600000 3700000 3800000 3900000 4000000 4300000)

# Function to set maximum frequency for a core
function set_max_freq() {
    CORE_ID=$1
    FREQ_ID=$2
    echo "$FREQ_ID" > "/sys/devices/system/cpu/cpu${CORE_ID}/cpufreq/scaling_max_freq"
}

# Function to measure package power using RAPL
function measure_power() {
    local ENERGY_START=$(cat /sys/class/powercap/intel-rapl:0/energy_uj)
    local TIME_START=$(date +%s.%N)  # Record the precise start time

    # Run stress-ng for a defined duration
    stress-ng --cpu 0 --timeout 10s > /dev/null 2>&1

    local ENERGY_END=$(cat /sys/class/powercap/intel-rapl:0/energy_uj)
    local TIME_END=$(date +%s.%N)  # Record the precise end time

    # Calculate energy consumed (in Joules)
    local ENERGY_CONSUMED=$(echo "scale=6; ($ENERGY_END - $ENERGY_START) / 1000000" | bc)

    # Calculate duration (in seconds)
    local TIME_DIFF=$(echo "$TIME_END - $TIME_START" | bc)

    # Calculate power (Watts)
    local POWER=$(echo "scale=6; $ENERGY_CONSUMED / $TIME_DIFF" | bc)
    echo "$POWER"
}

# Test each frequency level for P-cores and E-cores
for FREQ in "${FREQUENCY_LEVELS[@]}"; do
    for COREP in "${P_CORES[@]}"; do
        set_max_freq $COREP $FREQ
    done

    for FREQ2 in "${FREQUENCY_LEVELS[@]}"; do
        for COREE in "${E_CORES[@]}"; do
            set_max_freq $COREE $FREQ2
    done
    POWER=$(measure_power)
    echo "$FREQ,$FREQ2,$POWER" >> "$OUTPUT_FILE"
    done
done

[ Voor 29% gewijzigd door Mars Warrior op 20-01-2025 14:38 ]

[pimlie]

@Mars Warrior Gaaf, ik zal dat scriptje wat generieker proberen te maken en dan mijn resultaten posten. Ga ook toevoegen dat je de load factor kan aanpassen, ben nl ook benieuwd naar hoeveel dat uitmaakt (bv 10% load vs 50% vs 100%).

[Mars Warrior]

pimlie schreef op zondag 19 januari 2025 @ 20:03:
@Mars Warrior Gaaf, ik zal dat scriptje wat generieker proberen te maken en dan mijn resultaten posten. Ga ook toevoegen dat je de load factor kan aanpassen, ben nl ook benieuwd naar hoeveel dat uitmaakt (bv 10% load vs 50% vs 100%).

Als het script nog rekening kan houden met de harde tijdslimiet voor PL2, dan zouden de correcte Package Power waarden gemeten kunnen worden. Dan zou een hoge frequentie moeten afwisselen met een lage om te voorkomen dat je over die tijdslimiet heengaat voor PL2.

Met de R1.x versies kon je de PL2 tijd nog gewoon zelf invullen, maar dat kan zag ik met de R2.x niet meer.
Je kunt enkel de PL1, PL2 en PL4 waarden aanpassen. Maar dan wel met een max van 233W voor PL2/PL4.

De gedeeltelijke belasting is ook leuk, maar wel lastiger te meten in een draaiend systeem.

[ Voor 13% gewijzigd door Mars Warrior op 19-01-2025 20:37 ]

[Nutral]

andru123 schreef op zondag 19 januari 2025 @ 17:45:
[...]

Ik ben vrij teleurgesteld met ATS200T, het haalt zelfs level VI niet. Misch. heb ik een oude exemplaar, 2de hands gekocht, en nieuwere zijn beter. Ga ik nog een keer hertesten met betere connector/draden (maar het zal meer uitmaken op hogere stromen)
@Le Mol @Nutral hebben ook ATS200T-P120. Wat zijn jouw metingen/ervaring?

Ik heb hem samen met de picoPSU uit het systeem gehaald vanwge problemen met de 3 3.5" HDD's die niet lekker werkte. Overgestapt naar een bequiet 12M 550W voeding en gemiddeld verbruik is van 33W naar 34W gegaan.

[Room42]

Ik wil mijn homeserver vervangen door een 3 node zuinige mini-PC cluster voor Proxmox PVE. Ik heb alleen jullie mening nodig hierover. Het aanbod is nogal groot dus ik wil jullie hulp bij de shortlist.

Wensen/eisen hoe ik tot deze shortlist gekomen ben:
• Zuinig+performance
• 2x 2.5GbE (min. 1x)
• 32GB RAM is een pré
• 2x M.2 nvme is een pré

De mini-PC's die ik gevonden heb zijn:

Optie 1: uitvoering: Gigabyte BRIX GB-BNIP-N100 op basis van een N100

Pro's: - Max 32GB RAM - 2x 1 x M.2 2280 voor storage

Con's: - 1x 2.5GbE - DDR4, single channel

Optie 2: uitvoering: Gigabyte BRIX GB-BNIP-N200 op basis van een N200

Pro's: - Max 32GB RAM - 2x 1 x M.2 2280 voor storage - N200, iets sneller

Con's: - 1x 2.5GbE - DDR4, single channel - Slecht beschikbaar

Optie 3: Intel N100 8 Firewall Mini PC op basis van een N100

Pro's: - 4x 2.5GbE (Intel) - Goedkoop - 32GB DDR5 - 2x M.2 2280 (of 1x 2280 + 1x 2232) - Ook met i3-N305-SoC te krijgen voor +€135,-

Con's: - Enkel via AliExpress (wel vanuit Spanje)

Optie 4: En tot slot een AMD: GMKtec M5 Plus AMD R7 5825U

Pro's: - 2x 2.5GbE - Max 32GB RAM - 2x 1 x M.2 2280 voor storage

Con's: - DDR4 (i.p.v. 5) - Enkel via AliExpress (wel vanuit Spanje)

De keuze
Zover ik gezien heb zijn dit allemaal zuinige devices. Maar ik merk dat ik het heel moeilijk vind om een keuze te maken. Mijn gevoel zegt dat ik dit soort apparaten toch liever in NL koop, aangezien ik 0 ervaring heb met garantie via AliExpress. Qua prijs, beschikbaarheid en bekendheid van het platform denk ik dat optie 1 een veilige keuze is.

Zie ik nog wat over het hoofd?

[andru123]

@Room42 waarom 3 PCs in plaats van een? Een (zuinige) server met 12 cores gaat meer bereiken voor minder energie.
Voor de ali boxes kijk door gepinde berichten in dit topic (knopje met pin boven), er zijn paar hier getest, bijv. D43m0n in "Het grote zuinige server topic - deel 3"

[Room42]

andru123 schreef op zondag 19 januari 2025 @ 22:07:
@Room42 waarom 3 PCs in plaats van een? Een (zuinige) server met 12 cores gaat meer bereiken voor minder energie.

Ik wil high availability, zeker omdat ik er ook kubernetes op wil gaan draaien. Ik wil ook liever niet zelf bouwen en het relatief goedkoop houden.

Voor de ali boxes kijk door gepinde berichten in dit topic (knopje met pin boven), er zijn paar hier getest, bijv. D43m0n in "Het grote zuinige server topic - deel 3"

Thanks! Ik ga lezen.

[mrmrmr]

@Room42 Kubernetes staat bekend als software met zware belasting. Dat kost je een veelvoud van het normaal idle, het wordt hier beperkt door de capaciteit van de processor zelf.

De mogelijkheden zijn een lage TDP gebruiken, dat heb je al gedaan. En niet continu (24x7) draaien maar alleen als je er iets mee wilt doen.

[Room42]

mrmrmr schreef op maandag 20 januari 2025 @ 05:31:
@Room42 Kubernetes staat bekend als software met zware belasting. Dat kost je een veelvoud van het normaal idle, het wordt hier beperkt door de capaciteit van de processor zelf.

De mogelijkheden zijn een lage TDP gebruiken, dat heb je al gedaan. En niet continu (24x7) draaien maar alleen als je er iets mee wilt doen.

Klopt, dat is een goed punt, thanks! Ik heb al een lichte distributie gekozen (k3s) maar als het teveel blijkt, ga ik inderdaad gewoon terug naar docker+portainer en gebruik ik het k3s-cluster voor development. Maar dat ga ik eerst maar zien.

Ik overweeg wel toch ook op DDR5 te letten, aangezien dat blijkbaar een stuk beter performt. Alleen nog niet onderzocht dat dat met het energieverbruik doet.

[mrmrmr]

@andru123 Bedankt voor interessante Dell LA100PM220 adaptertest. Ik zie twee verschillende werkwijzen, de eerste twee, van 5V en 9V hebben een naar rechts aflopende grafiek en lage maximale last en de laatste twee (15V, 20V) de voor GaN normale curve met hogere maximale last. De lage spanningen hoeven geen power factor correctie uit te voeren.

Misschien kun je de volledige image link gebruiken, dan valt het rechter deel van de grafieken niet weg. Met de x,y afmeting (breedte, hoogte) kun je grootte bepalen, bijvoorbeeld door x (breedte) te aan te geven.

[andru123]

mrmrmr schreef op maandag 20 januari 2025 @ 06:02:
@andru123 Bedankt voor interessante Dell LA100PM220 adaptertest. Ik zie twee verschillende werkwijzen, de eerste twee, van 5V en 9V hebben een naar rechts aflopende grafiek en lage maximale last en de laatste twee (15V, 20V) de voor GaN normale curve met hogere maximale last. De lage spanningen hoeven geen power factor correctie uit te voeren.

Ik weet niet of het een GaN adapter is. Staat nergens op.
Maar ik zie al dat USB-C adapters zijn niet echt geschikt. Met 12V gaat USB-C tot maar 60W - vaak te weinig voor meesten hier. Je kan dan wel 15 of 20V kiezen - met bijv. PicoPSU WI. Maar dan ga je tot max 100W. Dan heb je verliezen in de kabel, tiny connector, de ISB-C chip in de kabel, USB-C trigger device…

[Mars Warrior]

Room42 schreef op maandag 20 januari 2025 @ 05:34:
[...]
Klopt, dat is een goed punt, thanks! Ik heb al een lichte distributie gekozen (k3s) maar als het teveel blijkt, ga ik inderdaad gewoon terug naar docker+portainer en gebruik ik het k3s-cluster voor development. Maar dat ga ik eerst maar zien.

K3s klinkt lichter, maar is gewoon k8s qua load: reken met 10% cpu load per core in “idle”. Minder is meegenomen ook de I/O load kan zeer hoog zijn afhankelijk van keuzes. Ik kreeg voorheen in een VM 100% load voor elkaar op mijn ssd…

Natuurlijk zien we jouw praktijkmetingen met nieuwsgierigheid tegemoet. Wie weet is er wat veranderd in de kern van k3s die eindelijk eens echt idle is…

Zie: https://docs.k3s.io/refer...ource-utilization-drivers

[ Voor 8% gewijzigd door Mars Warrior op 20-01-2025 09:26 ]