Het grote zuinige server topic - deel 3

[andru123]

Voor zo’n klein systeemtje, vind ik het idle verbruik van topton - 10W - 15W - veel te hoog.
Intel N100, N200 (met 4 of 8 cores) cpu’s zitten op prestatieniveau van een Celeron met 2 of 4 cores.
Als je moet dan een ventilator erop (of zelfs koelpasta vervangen), dan mischien een zelfbouw systeem toch betere optie.
De voordelen zijn kleine behuizing en kost, dat is onmogelijk te verslaan.
Edit: er zijn (oudere?) toptons waar het verbruik van 6W mogelijk is. Als dat ook met de nieuwere Toptons haalbaar, dan het is wel een optie.

[ Voor 18% gewijzigd door andru123 op 21-06-2023 16:43 ]

[mrmrmr]

KDamen schreef op woensdag 21 juni 2023 @ 12:40:
[...]


Dank voor de info! Ik denk dat ik dan toch ook een Topton systeempje ga aanschaffen binnenkort. Begreep van reviews dat er weinig verschil zat tussen de N100 en N200 qua performance. Dan heb je ook nog de i3-N301 maar die is wat overkill voor mijn toepassingen.

In aanvulling op wat @andru123 schreef:

In de topicstart staat ook een Odroid systeem. Daarmee kun je een laag idle verbruik maken, zoals dat voorheen ook kon met atom-achtige processoren: minder dan 2W in idle. Met desktop processor kracht is ASRock DeskMini 310 een redelijk zuinige optie.

Van Topton is mij niet duidelijk of die daarbij in de buurt komt. Maar gebaseerd op wat ik ervan gelezen heb denk ik dat het niet zo is en dat er niet veel moeite is gedaan om een laag verbruik te bereiken. 10W in idle is te hoog, zelfs met een 2.5Gb netwerkchip.

[Church of Noise]

Ik heb ondertussen terug mijn 'McGyver' oplossing met de usb-to-ethernet adapter terug verwijderd en de HP 260 G3 in zijn 'natuurlijke' staat terug gebracht, incl gebruik van de %&@ Realtek chip.
Draait nu aan 3.1W idle met max C3 pkg state dus (tgo 4.1W die tot C9 ging).

Omdat het kriebelt, heb ik een andere aanpak gevonden: ik heb een NUC van de 8e generatie met een i3 van de u-reeks en een intel netwerkkaart gekocht. Die ga ik zo laag mogelijk proberen krijgen.
De HP ga ik verkopen (tenzij het experiment met de NUC tegenvalt, dan gaat die de verkoop in )

[Snuffelke]

Iemand nog tips voor een lager verbruik met een Topton NAS N5105 4x Intel the i226-V bordje (bios van 2023)?
Ik meet waardes van meer dan 30w full load met enkel 1 nvme drive met 8gb (2x4gb) ram, 1gb netwerk verbinding.

Wat heb ik al aangepast, C-state waardes in bios, heb nog met een aantal andere dingen getest oa met enkel usb ubuntu boot stick, geen netwerk aangesloten, alle sata controllers uitgeschakeld. Het laagste wat ik kreeg is 17w in idle. ASPM control staat op auto (enkel enable is er niet, ook L0SL1 maakt geen verschil) Er zijn zoveel bios instellingen mogelijk dat ik het niet meer zie.

Ik zit nog ver verwijderd van de gehoopte 10w maar mss ook niet mogelijk met dit bordje. Mijn oude Dell Optiplex I5-4590s zat maar rond de 12w in idle.

[andru123]

Church of Noise schreef op woensdag 21 juni 2023 @ 18:47:
Ik heb ondertussen terug mijn 'McGyver' oplossing met de usb-to-ethernet adapter terug verwijderd en de HP 260 G3 in zijn 'natuurlijke' staat terug gebracht, incl gebruik van de %&@ Realtek chip.
Draait nu aan 3.1W idle met max C3 pkg state dus (tgo 4.1W die tot C9 ging).

Omdat het kriebelt, heb ik een andere aanpak gevonden: ik heb een NUC van de 8e generatie met een i3 van de u-reeks en een intel netwerkkaart gekocht. Die ga ik zo laag mogelijk proberen krijgen.
De HP ga ik verkopen (tenzij het experiment met de NUC tegenvalt, dan gaat die de verkoop in )

3W is echt laag! Wat kribbelt je dan? Hoe lager wil je het krijgen? Ik wist niet dat je al zo laag idle verbruik hebt, gaat de NUC in de buurt komen?
Wat is het verbruik met uitgeschakeld netwerk in BIOS?
Kan je een post maken met linkje naar het systeem, meetmethode etc., zo het kan gepinned worden.

[KDamen]

mrmrmr schreef op woensdag 21 juni 2023 @ 17:16:
[...]


In aanvulling op wat @andru123 schreef:

In de topicstart staat ook een Odroid systeem. Daarmee kun je een laag idle verbruik maken, zoals dat voorheen ook kon met atom-achtige processoren: minder dan 2W in idle. Met desktop processor kracht is ASRock DeskMini 310 een redelijk zuinige optie.

Van Topton is mij niet duidelijk of die daarbij in de buurt komt. Maar gebaseerd op wat ik ervan gelezen heb denk ik dat het niet zo is en dat er niet veel moeite is gedaan om een laag verbruik te bereiken. 10W in idle is te hoog, zelfs met een 2.5Gb netwerkchip.

Ik zit de topic start nog eens goed door te lezen. Ziet er allemaal wel goed uit, helaas dat de fujitsu bordjes nergens op voorraad zijn. Zit serieus te twijfelen waar goed aan te doen..

[Church of Noise]

Systeem:
- HP 260 G3 Mini
- CPU: Intel i3-7130u
- Disk: SK Hynix BC501 128GB NVMe
- RAM: 8GB
- Netwerk: Realtek RTL8111H (r8168-dkms driver, doet géén ASPM)

BIOS:
- geluidskaart en SATA0 uitgeschakeld
- SafeBoot uitgeschakeld (want anders werkt r8168 niet)

Software:

- OS: DietPi met onderliggend Debian Bookworm, WiFi drivers uninstalled (systeem heeft geen WiFi kaart aan boord overigens)
- Settings:
--- Kernel parameters:

code:

GRUB_CMDLINE_LINUX_DEFAULT="systemd.unified_cgroup_hierarchy=false consoleblank=15 workqueue.power_efficient=true r8168.aspm=1 r8168.hwoptimize=1 r8168.eee_enable=1 pcie_asmp=force"

--- TLP settings:

code:

TLP_DEFAULT_MODE=BAT

TLP_PERSISTENT_DEFAULT=1

CPU_SCALING_GOVERNOR_ON_BAT=powersave

CPU_ENERGY_PERF_POLICY_ON_BAT=power


SCHED_POWERSAVE_ON_BAT=1

NMI_WATCHDOG=0

PCIE_ASPM_ON_BAT=powersupersave

RUNTIME_PM_ON_BAT=auto

Meetinstrument: Shelly Plug S

Vermogen:
- Met USB toetsenbord en muis en met HDMI kabel voor scherm ingeschakeld, netwerk ingeschakeld en verbonden: 3.5W
- Zonder toetsenboard, scherm en muis maar mét netwerkkabel: 3.1W
- Zonder netwerkkabel (maar netwerkkaart wel actief): 2.9W

- netwerkkaart uitgeschakeld, wel met aangesloten muis, toetsenbord en scherm: 2.8W
- netwerkkaart uitgeschakeld, geen randapparatuur: 2.2W

[Church of Noise]

andru123 schreef op woensdag 21 juni 2023 @ 19:19:
[...]
3W is echt laag! Wat kribbelt je dan? Hoe lager wil je het krijgen? Ik wist niet dat je al zo laag idle verbruik hebt, gaat de NUC in de buurt komen?
Wat is het verbruik met uitgeschakeld netwerk in BIOS?
Kan je een post maken met linkje naar het systeem, meetmethode etc., zo het kan gepinned worden.

Die C-states wil ik verder. Geen rationele reden voor overigens...
Lijkt me een leuk experiment.

Doel is gewoon een efficiënt draaiend systeem dat ik zo ver mogelijk heb gebracht (het hele proces vind ik eigenlijk best leuk).

[mrmrmr]

@KDamen K3843-B is sinds vorige week weer leverbaar vanuit Duitsland. K3842-Q ook.

https://geizhals.de/?cat=mbp4_1700&xf=544_Kontron

[MuVo]

Kontron K3842-Q2 heeft een Intel Q670 chipset welke volgens intel niet overklokbaar is. De chipset B660 is overklokbaar.

Klopt het dan dat je met de Intel Q670 chipset geen verbruik optimalisaties kunt uitvoeren zoals bijvoorbeeld het down clocken ipv underklok? Of heeft kontron bios opties die dit wel mogelijk maken.

Reden dat ik dit vraag is dat ik graag een zuinige server heb met 2 netwerk poorten.

Update:

In de technische documentatie zie ik het volgende staan:
- cTDP – Easy & flexible reduction of CPU TDP

Mogelijk dat dit een betere feature is dan underklokken.

Update #2: Als processor wil ik gaan voor de overklokbare: uitvoering: Intel Core i7-12700K Boxed

[ Voor 33% gewijzigd door MuVo op 21-06-2023 23:28 ]

[andru123]

@MuVo let op de opmerking van mrmrmr over Q-chipset borden. Mischien is Q670 toch wel ook zuinig. Beter een zekere K3843-B en een extra netwerk card (ook goedkoper, trouwens)

Je wilt overclock of undervolting? Ik dacht echte overclocking alleen op Z-chipsets mogelijk was. Undervolten kan op vele borden, maar het hangt van fabrikant en chipset denk ik. Ik heb het wel gezien dat met K processors krijg je meer opties om met voltage te spelen.
Let op dat sinds Aug 2022 Intel heeft undervolten beperkt. Je moet zeker een BIOS met microcode hebben dat undervolten mogelijk maakt. Bij bepaalde Asus BIOS, bijv., krijg je een keuze om welke microcode te gebruiken - met of zonder undervolting.

[ Voor 50% gewijzigd door andru123 op 21-06-2023 23:46 ]

[MuVo]

andru123 schreef op woensdag 21 juni 2023 @ 23:28:
@MuVo let op de opmerking van mrmrmr over Q-chipset borden. Mischien is Q670 toch wel ook zuinig. Beter een zekere K3843-B en een extra netwerk card (ook goedkoper, trouwens)

Bedankt voor de tip! Dan is een K3843-B plus een tweede zuinige pcie Intel netwerk kaart een beter alternatief.

[andru123]

MuVo schreef op woensdag 21 juni 2023 @ 23:31:
Bedankt voor de tip! Dan is een K3843-B plus een tweede zuinige pcie Intel netwerk kaart een beter alternatief.

wacht even op het antwoord van mrmrmr of mars warrior. Zelf wil ik heel graag een nieuwe miniITX van Kontron, en die komen alleen met Q-chipset. Stiekem hoop ik dat ze ook zuinig zijn. Ik hoop dat iemand het zal reviewen, die boards zijn erg duur.

[mrmrmr]

andru123 schreef op woensdag 21 juni 2023 @ 23:28:
@MuVo let op de opmerking van mrmrmr over Q-chipset borden. Mischien is Q670 toch wel ook zuinig. Beter een zekere K3843-B en een extra netwerk card (ook goedkoper, trouwens)

De K3832 is een industrieel moederbord bedoelt voor "kiosken" (reclamezuilen, productiemachines e.d.). De K3842-Q lijkt hetzelfde "standaard computer" ontwerp te hebben als de K3843-B. Voorheen hadden we een D3642/D3643/D3644 serie (zonder LVDS) waarvan alle versies tamelijk zuinig waren.

Ik zie niet meteen een reden om voor iets anders dan een K3843-B te kiezen. Van belang is of er een Realtek of Intel netwerkchip aanwezig is, waarbij Intel vaak makkelijker low power states ondersteund en dat is de veilige keuze.

Zelf zou ik een K3843-B kiezen als ik een relatief krachtige server nodig heb. Sub 2W systemen met minder krachtige processoren zoals Odroids genoemd in de topic start zijn er natuurlijk ook nog.

@MuVo
Overklokken kost véél meer energie dan het opbrengt, en de 12th gen processoren zijn standaard al overklokt. Daarom zou ik PL1/PL2 power limits beperken.

Underclocking is bij de Kontron borden niet mogelijk, het is geen consumentenbord. Wat de zuinige Kontron borden apart maakt is de moeite die men heeft gedaan om power management te optimaliseren voor een laag idle verbruik. Underclocking is niet nodig.

@Mars Warrior heeft een strategie bedacht en geimplementeerd om bepaalde processoren met E cores te kunnen benutten.

[ Voor 20% gewijzigd door mrmrmr op 22-06-2023 07:03 ]

[andru123]

Een Japanner (twitter @vpcf90) bedacht een interessante manier om naar de voeding te kijken - hij kijkt naar het histogram van de vermogen waarden. Een conventionele goede (volgens hem) voeding heeft bijvoorbeeld een klokvormig histogram:

De Rm550x ziet er daarentegen zo uit:

En met een andere systeem;

Ik vind het vrij interessante manier om naar een voeding te kijken. De wet van de “grote getallen” kan soms interessante inzichten geven.
Hij denkt dat dit komt door de werking van de “APFC PWM controller”, maar daar heb ik (nog) weinig verstand van.
2 extra img voor referentie:

[ Voor 21% gewijzigd door andru123 op 03-07-2023 00:34 ]

[MuVo]

mrmrmr schreef op donderdag 22 juni 2023 @ 06:32:
[...]


De K3832 is een industrieel moederbord bedoelt voor "kiosken" (reclamezuilen, productiemachines e.d.). De K3842-Q lijkt hetzelfde "standaard computer" ontwerp te hebben als de K3843-B. Voorheen hadden we een D3642/D3643/D3644 serie (zonder LVDS) waarvan alle versies tamelijk zuinig waren.

Ik zie niet meteen een reden om voor iets anders dan een K3843-B te kiezen. Van belang is of er een Realtek of Intel netwerkchip aanwezig is, waarbij Intel vaak makkelijker low power states ondersteund en dat is de veilige keuze.

Zelf zou ik een K3843-B kiezen als ik een relatief krachtige server nodig heb. Sub 2W systemen met minder krachtige processoren zoals Odroids genoemd in de topic start zijn er natuurlijk ook nog.

@MuVo
Overklokken kost véél meer energie dan het opbrengt, en de 12th gen processoren zijn standaard al overklokt. Daarom zou ik PL1/PL2 power limits beperken.

Underclocking is bij de Kontron borden niet mogelijk, het is geen consumentenbord. Wat de zuinige Kontron borden apart maakt is de moeite die men heeft gedaan om power management te optimaliseren voor een laag idle verbruik. Underclocking is niet nodig.

@Mars Warrior heeft een strategie bedacht en geimplementeerd om bepaalde processoren met E cores te kunnen benutten.

Bedankt voor de uitgebreide toelichting en inzichten. De K3842-Q2 lijkt dan niet bij mijn doel te passen en nodig te zijn. Ik houdt de K3843-B aan.

Wat ik mij dan wel af vraag. Als underclocken niet mogelijk is en niet ondersteund wordt door Kontron, is het dan nog zinvol om de K versie van de uitvoering: Intel Core i7-12700K Boxed aan te schaffen? Ik zou @Mars Warrior posts na moeten lezen om te zien of hij dit heeft onderboud of tweaks gebruikt wat alleen toegepast kan worden op de K versie.

[Mich]

Snuffelke schreef op woensdag 21 juni 2023 @ 19:06:
Iemand nog tips voor een lager verbruik met een Topton NAS N5105 4x Intel the i226-V bordje (bios van 2023)?
Ik meet waardes van meer dan 30w full load met enkel 1 nvme drive met 8gb (2x4gb) ram, 1gb netwerk verbinding.

Wat heb ik al aangepast, C-state waardes in bios, heb nog met een aantal andere dingen getest oa met enkel usb ubuntu boot stick, geen netwerk aangesloten, alle sata controllers uitgeschakeld. Het laagste wat ik kreeg is 17w in idle. ASPM control staat op auto (enkel enable is er niet, ook L0SL1 maakt geen verschil) Er zijn zoveel bios instellingen mogelijk dat ik het niet meer zie.

Ik zit nog ver verwijderd van de gehoopte 10w maar mss ook niet mogelijk met dit bordje. Mijn oude Dell Optiplex I5-4590s zat maar rond de 12w in idle.

Voor als je Linux draait kan je dit proberen:

code:

sudo ethtool --show-eee enp4s0
sudo ethtool --set-eee enp4s0 eee on

Met het eerste commando kom je er achter of EEE (Energy-Efficient Ethernet) uit staat. Met het 2e commando kan je dit aanzetten. enp4s0 is Hierin de netwerkkaart, die kan voor iedereen anders heten.


Ik heb tijdelijk een bord gehad met een i226. Daar scheelde dit wel aanzienlijk qua vermogen. En als je dat voor 4 porten kan doen ga je dat zeker merken. Als dit tenminste werkt

[D-Three]

Mich schreef op donderdag 22 juni 2023 @ 12:00:
[...]


Voor als je Linux draait kan je dit proberen:

code:

sudo ethtool --show-eee enp4s0
sudo ethtool --set-eee enp4s0 eee on

Met het eerste commando kom je er achter of EEE (Energy-Efficient Ethernet) uit staat. Met het 2e commando kan je dit aanzetten. enp4s0 is Hierin de netwerkkaart, die kan voor iedereen anders heten.


Ik heb tijdelijk een bord gehad met een i226. Daar scheelde dit wel aanzienlijk qua vermogen. En als je dat voor 4 porten kan doen ga je dat zeker merken. Als dit tenminste werkt

De switch moet het ook ondersteunen toch?

[samtman]

Hi, heeft iemand hier een tip hoe ik apt upgrade uit kan voeren (Ubuntu Server), zonder dat mijn energieverbruik naar de knoppen gaat? Normaliter zit ik tussen de 3-4W dankzij alle tips in dit forum , maar na sommige package updates schiet dat verbruik omhoog naar 8-9W continu na een reboot.

Ik krijg dat verbruik weer omlaag wanneer ik BIOS defaults laad (en achtereenvolgens powertop --autotune), maar dat is natuurlijk onpraktisch wanneer je er geen monitor of KVM aan hebt hangen.

Mijn systeem is een bekende combinatie: Fujitsu D3644-B, PicoPSU 90, Intel Core i3-9100, 1 NVMe SDD en twee 2.5" 5TB hd.

[mrmrmr]

@samtman powertop --auto-tune moet na elke reboot worden uitgevoerd. Dat kan worden geautomatiseerd met een service. Het kan ook handmatig via een SSH verbinding worden uitgevoerd.

BIOS defaults staan al goed. Ubuntu past vermoedelijk geen BIOS settings aan.

[samtman]

@mrmrmr Dat draai ik al tijdens boot. Althans, als het goed is; ik heb jouw advies uit een eerdere post opgevolgd :

mrmrmr schreef op dinsdag 3 mei 2022 @ 01:49:

powertop.service bestand gemaakt in :
/etc/systemd/system/powertop.service

---

[Unit]
Description=PowerTOP auto tune

[Service]
Type=idle
Environment="TERM=dumb"
ExecStart=/usr/sbin/powertop --auto-tune

[Install]
WantedBy=multi-user.target

---

Enable service:
systemctl enable powertop.service

Herstart, druk op enter.

Is er een manier om te kijken of dit heeft gedraaid tijdens boot / goed staat ingepland?

[mrmrmr]

@samtman Met journalctl -u powertop.service zie je de logs als het goed is.

Het duurt altijd even voordat een systeem tot rust komt.

Als er iets draait kost dat processortijd, dus kijk goed naar wat je draait. Bijvoorbeeld met top of een andere soortgelijke tool.

[samtman]

@mrmrmr Bedankt voor de tip. Powertop lijkt goed te starten tijdens boot. Met who -b gezien dat het systeem op 2023-06-09 09:05 is opgestart. En journalctl -u powertop.service geeft:

code:

-- Boot 7ce69fb91536471ca76ffa218a562ed9 --
Jun 09 09:05:14 morpheus systemd[1]: Started PowerTOP auto tune.
Jun 09 09:05:18 morpheus powertop[736]: modprobe cpufreq_stats failedLoaded 0 prior measurements
Jun 09 09:05:18 morpheus powertop[736]: RAPL device for cpu 0
Jun 09 09:05:18 morpheus powertop[736]: RAPL Using PowerCap Sysfs : Domain Mask f
Jun 09 09:05:18 morpheus powertop[736]: RAPL device for cpu 0
Jun 09 09:05:18 morpheus powertop[736]: RAPL Using PowerCap Sysfs : Domain Mask f
Jun 09 09:05:18 morpheus powertop[736]: Devfreq not enabled
Jun 09 09:05:18 morpheus powertop[736]: glob returned GLOB_ABORTED
Jun 09 09:05:20 morpheus powertop[736]: Leaving PowerTOP
Jun 09 09:05:20 morpheus systemd[1]: powertop.service: Deactivated successfully.

Ik begrijp de messages die Powertop geeft echter niet goed. Zie jij daar iets geks?

[mrmrmr]

@samtman

De log ziet er normaal uit. Die cryptische berichten van powertop zijn meer een soort debuglog voor programmeurs dan iets dat nuttig is voor gebruikers.

Direct na het installeren van package of distributie updates zou het wel eens zo kunnen zijn dat powertop settings deels ongedaan zijn gemaakt. Dat heb ik ook wel eens gemerkt na installaties. Rebooten of nogmaals auto-tune gebruiken lost dat probleem op onder Debian. Na een reboot is alles weer helemaal vers.

[samtman]

@mrmrmr OK, powertop autotune een paar keer gedraaid en toen opnieuw opgestart. Uurtje gewacht, maar zelfde resultaat (nog steeds 8-9W). Ik ga later eens proberen of inderdaad het laden van BIOS defaults het probleem weer opheft. Ik had gehoopt dat ik met smbios-token-ctl alle bios settings kon dumpen, zodat ik een voor/na kan vergelijken, maar dat werkt helaas niet.

[mrmrmr]

@samtman Ik gebruik zelf Debian en ik herken dit niet.

Wat is de actieve (default) kernel commandline in grub?

Kijk eens of er foutmeldingen zijn met dmesg. Met name met i915 en kijk ook eens of powertop nog de normale C state pagina weergeeft.

In de topicstart onder tips staan nog een aantal dingen die je kan proberen. Met name above 4G decoding en non free firmware en de i915 kbl driver check.

[Mars Warrior]

@samtman , kan het een timing probleem zijn bij opstarten? Dus dat powertop ff 1 minuutje later moet draaien?

[samtman]

@Mars Warrior

kan het een timing probleem zijn bij opstarten? Dus dat powertop ff 1 minuutje later moet draaien?

Ik denk niet dat dat het is; als ik powertop autotune manueel draai, dan zou dat ook effect moeten hebben en dat is niet het geval.

@mrmrmr

Wat is de actieve (default) kernel command line in grub?

Dit staat in /etc/default/grub

code:

GRUB_DEFAULT=0
GRUB_TIMEOUT_STYLE=hidden
GRUB_TIMEOUT=0
GRUB_DISTRIBUTOR=`lsb_release -i -s 2> /dev/null || echo Debian`
#GRUB_CMDLINE_LINUX_DEFAULT=""
GRUB_CMDLINE_LINUX_DEFAULT="quiet ipv6.disable=1 consoleblank=15"
GRUB_CMDLINE_LINUX=""

Kijk eens of er foutmeldingen zijn met dmesg. Met name met i915

code:

@morpheus:/usr/sbin$ sudo dmesg | grep i9
[    1.232946] i915 0000:00:02.0: vgaarb: deactivate vga console
[    1.234620] i915 0000:00:02.0: vgaarb: changed VGA decodes: olddecodes=io+mem,decodes=io+mem:owns=io+mem
[    1.234931] i915 0000:00:02.0: [drm] Finished loading DMC firmware i915/kbl_dmc_ver1_04.bin (v1.4)
[    1.506722] i915 0000:00:02.0: [drm] failed to retrieve link info, disabling eDP
[    1.525034] [drm] Initialized i915 1.6.0 20201103 for 0000:00:02.0 on minor 0
[    1.560293] i915 0000:00:02.0: [drm] Cannot find any crtc or sizes
[    1.618207] i915 0000:00:02.0: [drm] Cannot find any crtc or sizes
[    1.653818] i915 0000:00:02.0: [drm] Cannot find any crtc or sizes
[    5.557747] mei_hdcp 0000:00:16.0-b638ab7e-94e2-4ea2-a552-d1c54b627f04: bound 0000:00:02.0 (ops i915_hdcp_component_ops [i915])

en kijk ook eens of powertop nog de normale C state pagina weergeeft

code:

           Pkg(HW)  |            Core(HW) |            CPU(OS) 0
                    |                     | C0 active   0.2%
                    |                     | POLL        0.0%    0.0 ms
                    |                     | C1          0.1%    0.3 ms
C2 (pc2)    2.2%    |                     |
C3 (pc3)   91.8%    | C3 (cc3)    0.0%    | C3          0.0%    0.1 ms
C6 (pc6)    0.0%    | C6 (cc6)    0.3%    | C6          0.3%    0.6 ms
C7 (pc7)    0.0%    | C7 (cc7)   97.0%    | C7s         0.0%    0.0 ms
C8 (pc8)    1.0%    |                     | C8          4.0%    2.1 ms
C9 (pc9)    0.0%    |                     | C9          0.0%    0.0 ms
C10 (pc10)  0.0%    |                     |
                    |                     | C10        93.4%   20.5 ms
                    |                     | C1E         1.2%    0.6 ms

                    |            Core(HW) |            CPU(OS) 1
                    |                     | C0 active   0.2%
                    |                     | POLL        0.0%    0.0 ms
                    |                     | C1          0.4%    0.4 ms
                    |                     |
                    | C3 (cc3)    0.0%    | C3          0.0%    0.1 ms
                    | C6 (cc6)    0.3%    | C6          0.3%    0.6 ms
                    | C7 (cc7)   98.0%    | C7s         0.0%    0.0 ms
                    |                     | C8          4.1%    2.1 ms
                    |                     | C9          0.0%    0.0 ms
                    |                     |
                    |                     | C10        94.2%   20.1 ms
                    |                     | C1E         0.1%    0.3 ms

                    |            Core(HW) |            CPU(OS) 2
                    |                     | C0 active   0.3%
                    |                     | POLL        0.0%    0.0 ms
                    |                     | C1          0.3%    0.3 ms
                    |                     |
                    | C3 (cc3)    0.0%    | C3          0.0%    0.1 ms
                    | C6 (cc6)    0.3%    | C6          0.3%    0.6 ms
                    | C7 (cc7)   98.1%    | C7s         0.0%    0.0 ms
                    |                     | C8          2.7%    2.0 ms
                    |                     | C9          0.0%    0.0 ms
                    |                     |
                    |                     | C10        95.6%   24.5 ms
                    |                     | C1E         0.1%    0.2 ms

                    |            Core(HW) |            CPU(OS) 3
                    |                     | C0 active   0.3%
                    |                     | POLL        0.0%    0.0 ms
                    |                     | C1          0.1%    0.9 ms
                    |                     |
                    | C3 (cc3)    0.0%    | C3          0.0%    0.1 ms
                    | C6 (cc6)    0.3%    | C6          0.3%    0.6 ms
                    | C7 (cc7)   98.1%    | C7s         0.0%    0.0 ms
                    |                     | C8          3.6%    2.1 ms
                    |                     | C9          0.1%    6.5 ms
                    |                     |
                    |                     | C10        94.7%   24.5 ms
                    |                     | C1E         0.0%    0.1 ms

                    |             GPU     |
                    |                     |
                    | Powered On  0.0%    |
                    | RC6       100.0%    |
                    | RC6p        0.0%    |
                    | RC6pp       0.0%    |

Ik zie zo 1-2-3 niets vreemds, maar ik ben natuurlijk geen expert

[mrmrmr]

Ik zie package C3. Er zit iets in het systeem dat voorkomt dat er een package C8/C10 wordt gehaald. Kun je een volledig overzicht geven van je systeem? Alles dat aangesloten is.

De i915 regels zien eruit als verwacht. Ik vraag me wel af of de monitor niet in low power stand komt waardoor het verbruik hoog blijft. Misschien blijft hij zoeken naar een monitor.

consoleblank staat op de kernel command line zoals verwacht.

Is het een command line installatie of is er ook een GUI aanwezig? Bij een GUI kan de monitor worden uitgeschakeld. Er zijn diverse xset opdrachten, maar dat kan ook vanuit de GUI zelf zijn geregeld.

[andru123]

code:

C3 (pc3)   91.8%    | 
C6 (pc6)    0.0%    | 
C7 (pc7)    0.0%    |
C8 (pc8)    1.0%    |

Van dit neem ik aan dat C8 is wel mogelijk maar CPU blijft daar niet lang? Dus een of andere apps draaien en CPU bezig houden? 1te en 2de powertop tabs laten zien wat het systeem bezig houdt.

[samtman]

@mrmrmr

Kun je een volledig overzicht geven van je systeem?

Fujitsu D3644-B, PicoPSU 90, Intel Core i3-9100, 1 NVMe SDD en twee 2.5" 5TB hd. Er steekt alleen een netwerkkabel in (geen monitor, keyboard, usb stuff, etc.)

@andru123

1te en 2de powertop tabs laten zien wat het systeem bezig houdt

Het meeste is tick_sched_timer en Docker dingen. Ik kan natuurlijk eens alle docker containers uitzetten, misschien helpt dat. Maar het blijft vreemd dat ik dit probleem alleen ervaar wanneer bepaalde nieuwe packages zijn geinstalleerd en het systeem opnieuw is opgestart. Normaal draait alles stabiel op 3-4W (ook na reboot). Die Docker stack verandert eigenlijk bijna nooit.

[andru123]

MuVo schreef op donderdag 22 juni 2023 @ 08:44:
Wat ik mij dan wel af vraag. Als underclocken niet mogelijk is en niet ondersteund wordt door Kontron, is het dan nog zinvol om de K versie van de uitvoering: Intel Core i7-12700K Boxed aan te schaffen? Ik zou @Mars Warrior posts na moeten lezen om te zien of hij dit heeft onderboud of tweaks gebruikt wat alleen toegepast kan worden op de K versie.

Ik had hetzelfde dilemma. In theory, de K-versie moet uit een beter bin komen, dus het is in principe een betere kwaliteit CPU. En, het is helemaal "unlocked" - heeft meer opties voor undervolting, etc. Maar ik moet een aparte cooler bijkopen (+50$ minimaal). Toen 13600K op aanbieding was, was het verleidelijk. Maar voor mij eigenlijk non-K versie is ook prima.
@Mars Warrior heeft toch 12700K versie gekozen. Hier is de uitleg waarom.
Ik vind het jammer eigenlijk dat Kontron geen undervolting toestaat. Als ik Asus forums lees, er zijn vele mensen die CPUs undervolten met goede resultaat. Maakt weinig invloed op idle verbruik, maar onder load wel een groot verschil. @Mars Warrior beperkt frequentie en PL waardes, en dat hetzelfde effect heeft als undervolting, denk ik.

[samtman]

@mrmrmr @Mars Warrior @andru123 In plaats van een reboot heb ik eens een shutdown gedaan en handmatig het systeem weer aan gezet. Wat blijkt, dan komt het systeem wel in C8/C10 en haal ik dus weer 3 tot 4W. Vooralsnog concludeer ik:

• Dat er een verschil bestaat tussen reboot en volledige shutdown
• Het opnieuw laden van BIOS defaults niet nodig is

Dat betekent dat ik in plaats van een monitor en toetsenbord aan te sluiten, ik alleen af en toe op de aanknop hoef te drukken. Dat scheelt! Super bedankt voor het meedenken allemaal!

[Mich]

andru123 schreef op vrijdag 23 juni 2023 @ 16:57:
[...]
Ik had hetzelfde dilemma. In theory, de K-versie moet uit een beter bin komen, dus het is in principe een betere kwaliteit CPU. En, het is helemaal "unlocked" - heeft meer opties voor undervolting, etc. Maar ik moet een aparte cooler bijkopen (+50$ minimaal). Toen 13600K op aanbieding was, was het verleidelijk. Maar voor mij eigenlijk non-K versie is ook prima.
@Mars Warrior heeft toch 12700K versie gekozen. Hier is de uitleg waarom.
Ik vind het jammer eigenlijk dat Kontron geen undervolting toestaat. Als ik Asus forums lees, er zijn vele mensen die CPUs undervolten met goede resultaat. Maakt weinig invloed op idle verbruik, maar onder load wel een groot verschil. @Mars Warrior beperkt frequentie en PL waardes, en dat hetzelfde effect heeft als undervolting, denk ik.

Je zou je bios (van het Kontron bord) met een SPI programmer van de rom kunnen laden. Daarna kan je een bios met bepaalde UEFI tools wel inzien en editten. Op het winraid forum is veel info te vinden over het unlocken van bios futures. Kontron heeft een Ami Aptio 5 bios.

[Mich]

D-Three schreef op donderdag 22 juni 2023 @ 15:13:
[...]

De switch moet het ook ondersteunen toch?

Ja en nee. Als je switch het ondersteund werkt het idd automatich. Zo kwam ik er ook achter. Ik deed voor de grap mijn ethernet kabel in een andere switch en het verbruik was aanzienlijk verminderd. Toen deed ik het terug in mijn andere switch en met het commando had ik alsnog dat lage verbruik.

[MuVo]

andru123 schreef op vrijdag 23 juni 2023 @ 16:57:
[...]
Ik had hetzelfde dilemma. In theory, de K-versie moet uit een beter bin komen, dus het is in principe een betere kwaliteit CPU. En, het is helemaal "unlocked" - heeft meer opties voor undervolting, etc. Maar ik moet een aparte cooler bijkopen (+50$ minimaal). Toen 13600K op aanbieding was, was het verleidelijk. Maar voor mij eigenlijk non-K versie is ook prima.
@Mars Warrior heeft toch 12700K versie gekozen. Hier is de uitleg waarom.
Ik vind het jammer eigenlijk dat Kontron geen undervolting toestaat. Als ik Asus forums lees, er zijn vele mensen die CPUs undervolten met goede resultaat. Maakt weinig invloed op idle verbruik, maar onder load wel een groot verschil. @Mars Warrior beperkt frequentie en PL waardes, en dat hetzelfde effect heeft als undervolting, denk ik.

Bedankt voor de toelichting en de link naar de post van Mars Warrior!

Momenteel is de i7-12700k goedkoper dan de non k versie. Zelfde zoals Mars Warrior beschrijft in zijn post.

Het Kontron moederbord ondersteund inmiddels de 13 serie. Momenteel zelf aan het twijfelen om toch voor de i5-13600k te gaan. Deze is wel duurder dan de non (k) versie maar lijkt wat meer features te hebben en is wat sneller (iets hoger klok frequentie en bijna dubbele L2 cach. Sneller maakt de cpu ook onzuiniger in gebruik. Nog niet in detail bekeken of ik de features van de k versie ook nodig heb.

In verbruik lijkt de i5-13600k zuiniger te zijn dan de i7-12700k, maar volgens de tweakers kenmerk en vergelijk pagina van de CPU is de basis idle gebruik van de i5 hoger.

Daarnaast las ik dat de 13 serie ook meer heethoofden zijn. Kortom heb nog wat uit te zoeken.

Het idee tot nu toe (Insperatie op gedaan bij @Mars Warrior, thanks!):

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Core i5-13600K Boxed	€ 329,-	€ 329,-
1	Moederborden	Kontron K3843-B	€ 0,-	€ 0,-
1	Behuizingen	Inter-Tech IM-1 Pocket	€ 68,92	€ 68,92
1	Geheugen intern	Corsair Vengeance CMK32GX5M2A4800C40	€ 101,89	€ 101,89
1	Voedingen	Corsair RM550x (2018) (EU-model) Zwart	€ 99,95	€ 99,95
1	Solid state drives	Solidigm P41 Plus 2TB	€ 104,89	€ 104,89
			Totaal	€ 704,65

Update:
Na de volgende vergelijking te hebben gelezen: de non k heeft een lagere basis klok frequentie, wat de cpu zuiniger maakt. En kost 34 euro minder volgens Tweakers.

Grootste verschil is nog wel dat de non k versie gebruik maakt van de Alder Lake architectuur.
bron en bron2

Op basis daarvan kies ik persoonlijk voor de K versie. Als ik dan kies voor de Intel 13 serie, dan wil geen verkapte Alder Lake. Maar goed, prijs plus verbruik kan iemand anders doen kiezen.

[ Voor 13% gewijzigd door MuVo op 25-06-2023 23:23 ]

[mrmrmr]

@MuVo De voor 13th gen benodigde BIOS v2 is nog niet beschikbaar. Vooralsnog is de ondersteuning beperkt tot 12th gen.

[MuVo]

mrmrmr schreef op zaterdag 24 juni 2023 @ 22:49:
@MuVo De voor 13th gen benodigde BIOS v2 is nog niet beschikbaar. Vooralsnog is de ondersteuning beperkt tot 12th gen.

Dat dacht ik ook te lezen in dit topic, tot dat ik deze sheet op de support pagina van het moederbord tegen kwam: https://ftp.kontron.com/m...y%5FCPU%5Fx%5FBoard%2Epdf

Raar dat ze er wel mee adverteren op hun site.

Is er iets bekend wanneer dit bios uit komt, of dat nieuwe moederborden er al standaard mee worden uitgerust?

[mrmrmr]

MuVo schreef op zaterdag 24 juni 2023 @ 22:53:
Raar dat ze er wel mee adverteren op hun site.

Ja, daar zouden ze mee moeten stoppen totdat de BIOS er echt is.

Is er iets bekend wanneer dit bios uit komt, of dat nieuwe moederborden er al standaard mee uitgerust worden?

Er zijn mensen in dit topic die het nagevraagd hebben. Ik heb zelf (in 2022) voor 12th gen gekozen.

[MuVo]

mrmrmr schreef op zaterdag 24 juni 2023 @ 22:55:
[...]


Ja, daar zouden ze mee moeten stoppen totdat de BIOS er echt is.


[...]


Er zijn mensen in dit topic die het nagevraagd hebben. Ik heb zelf (in 2022) voor 12th gen gekozen.

Inderdaad kwalijk van ze.

Ik wil zelf ook wel eens contacteren hierover, als ik er tijd voor vind. Mocht ik dat doen dan zal ik dat hier delen.

[Mirabis]

MuVo schreef op zaterdag 24 juni 2023 @ 23:02:
[...]


Inderdaad kwalijk van ze.

Ik wil zelf ook wel eens contacteren hierover, als ik er tijd voor vind. Mocht ik dat doen dan zal ik dat hier delen.

Velen zijn ze voor gegaan maar helaas. Ik heb zelfs gevraagd om een bèta versie, werd doorverwezen naar andere afdeling...radio stilte.

Hopelijk eind deze maand anders toch maar de 13th gen CPU verkopen -.-

[MuVo]

Mirabis schreef op zaterdag 24 juni 2023 @ 23:03:
[...]


Velen zijn ze voor gegaan maar helaas. Ik heb zelfs gevraagd om een bèta versie, werd doorverwezen naar andere afdeling...radio stilte.

Hopelijk eind deze maand anders toch maar de 13th gen CPU verkopen -.-

Vervelend, hopelijk komen ze met een nieuwe bios versie.

Aan de hand van dit document: https://ftp.kontron.com/m...PCN%5FK384x%5FK385x%2Epdf waar dit mail adres stond vermeld: Pcmb-sales @ kontron.com. Heb ik een mail naar ze gestuurd met een vraag over Intel series 13 “Raptor Lake” support.

[andru123]

@MuVo niet vergeten dat K versies een cooler nodig hebben. En die makkelijk kan 20% tot 50% kosten wat CPU kost eigenlijk.
Ik kijk naar voorraden bij grote winkels en probeer te raden waneer een korting komt. Bijv hier Als ik zie 25+ op voorraad, dan er is kans dat prijs gaat dalen. Maar het is een gok. Paar maanden terug was 13600k nog 249$. Maar ik zie dat leveranciers proberen nu de oudere 12000 weg te werken. Waarschijnlijk komt 14de generatie straks. Of juist niet

[Mich]

MuVo schreef op zaterdag 24 juni 2023 @ 23:50:
[...]


Vervelend, hopelijk komen ze met een nieuwe bios versie.

Aan de hand van dit document: https://ftp.kontron.com/m...PCN%5FK384x%5FK385x%2Epdf waar dit mail adres stond vermeld: Pcmb-sales @ kontron.com. Heb ik een mail naar ze gestuurd met een vraag over Intel series 13 “Raptor Lake” support.

Ik heb het vorige week voor de 2e keer nagevraagd. Eerst zou het April zijn, maar nu zeiden ze eind Juni.
Dus hopelijk komt hij binnen nu en een week

edit: Volgens mij reageren ze bijna tot niet op prive mail adressen. Ik heb mijn zakelijke adres gebruikt (moet je natuurlijk wel in een bedrijfstak zitten dat het logisch is dat je contact opneemt ). Dan reageren ze telkens binnen uur.

[ Voor 13% gewijzigd door Mich op 25-06-2023 13:15 ]

[alex3305]

Afgelopen week heb ik het zegen van de vrouw gekregen om een nieuwe homeserver uit te mogen zoeken . Momenteel heb ik de volgende systemen draaien:

• Gigabyte BRIX GB-BLCE-4105 met 16GB RAM
• QNAP TS-351 met 8GB RAM

Op beide systemen heb ik Docker draaien met elk zo'n 20 containers. Op het eerste systeem doe ik dat met behulp van unRAID en bij de QNAP gebruik ik Container Station. Verder draait er op de J4105 ook nog Home Assistant in een VM. Ook heb ik in het eerste systeem 2 x 1TB SSD opslag zitten en zitten er wat USB apparaten aan, zoals een Zigbee en Z-Wave controller. In de NAS zit zowel een 512GB als een 1TB SSD, 2 14TB 3,5" HDD's en nog een 5TB 3,5" disk. En daar hangen ook nog eens 3 externe 2,5" disks aan. Best wel , maar daar doen we het voorlopig nog even mee.

Mijn primaire home server heb ik destijds uitgekozen omdat een Raspberry Pi 3B+ niet meer voldeed voor mij. De J4105 is (of was) verder erg energiezuinig en alhoewel een zak aardappels waarschijnlijk sneller is, werkt het tot nu toe prima. De NAS met de nog langzamere J1800 (hoe is het mogelijk?) gebruik ik nu nog als Docker server, maar daar wil ik veelal vanaf. Daar is dat apparaat eigenlijk niet snel genoeg voor.

Wat ik nu dus zou willen is een veel krachtigere server. Ik zou normaal namelijk ergens een systeem met een goedkope Celeron / Pentium Silver op de kop tikken, maar mijn vrouw heeft besloten dat we dat niet gaan doen. Ze heeft mij een ruim budget gegeven van maximaal 1000 euro, maar dat vind ik veel te duur. Zelf ben ik meer tussen de 500 - 750 euro aan het kijken. Dan is er ook nog overhead, mocht ik iets extra's willen.

Daarom ik ben daarop bij het volgende terecht gekomen, en ben benieuwd naar meningen of ideeën. En of ik wellicht iets over de kop zie?

Minisforum NAB6
De Minisforum NAB6 is verkrijgbaar met een de Intel Core i7 12650h. Een chip die volgens benchmarks er erg snel uitziet. Ook heeft het systeem een aardig kleine footprint (niet super belangrijk) en is het redelijk aan de prijs. Ik wil dan wel voor 32GB of 64GB gaan en mijn oude opslag hergebruiken.

Het enige grote nadeel wat ik toch terug blijf zien is garantie. Dat lijkt, net zoals bij veel Chinese spulletjes, tot aan de drempel te liggen.

ASRock DeskMini X300
Dit systeem ziet er erg aardig uit. Met name als je dit combineert met zoiets als een uitvoering: AMD Ryzen 7 5700G Boxed. Hier zou ik ook 32GB of 64GB en mijn oude opslag hergebruiken. Eventueel zou deze (zoals ik zie) ook nog te upgraden zijn met zoiets als een product: Noctua NH-L9a-AM4 om deze wat stiller en efficiënter te maken. Ook lijken de testresultaten goed. Niet super goed in idle, maar ook niet verkeerd.

Het grote voordeel van dit systeem lijkt toch de ruimte voor extra opslag met 2 NVMe sloten en 2 SATA aansluitingen. Het grote nadeel is AMD. AMD heeft namelijk geen Intel QuickSync aan boord en dat werkt dus niet zo out-of-the-box met Plex voor transcoding. Alhoewel ik dat recent ook niet super veel gebruik .

ASRock Deskmini H470
In het Intel kamp is er ook nog de [url=https://tweakers.net/pricewatch/1593678/asrock-deskmini-h470-series.html]. Dit is niet de nieuwste barebone van ASRock, maar Intel 11th gen lijkt nog goed verkrijgbaar te zijn. Deze zou ik dan willen combineren met een uitvoering: Intel Core i7-11700 Boxed of een uitvoering: Intel Core i9-11900 Boxed.

Dit systeem is trager dan bovenstaande alternatieven, maar niet bijzonder veel. Echter lijkt de prijs/kwaliteit verhouding van de 11900 niet denderend te zijn.

Overige
Andere alternatieven zijn er uiteraard nog van Beelink, wat weer het Chinese garantie probleem met zich meebrengt. Of een van de Intel NUC's, maar daar lijk je toch echt een Intel NUC belasting op te betalen. In ieder geval zijn ze zo'n 100 - 200 euro duurder dan bovenstaande alternatieven met vergelijkbare specs.

[mrmrmr]

@alex3305 Dit topic gaat over verbruik/zuinigheid. Wat is je verbruik nu en waar wil je naar toe?

[alex3305]

mrmrmr schreef op zondag 25 juni 2023 @ 22:24:
@alex3305 Dit topic gaat over verbruik/zuinigheid. Wat is je verbruik nu en waar wil je naar toe?

Mijn huidig verbruik is niet zo relevant, aangezien ik dat toch wil vervangen. Mijn doel is zo rond de 10w idle of lager. Vandaar ook de zuinige systemen die ik had uitgezocht in mijn vorige post.

[mrmrmr]

Het oude verbruik is relevant als je onderdelen wil meenemen. Heb je een energiemeter? Daarmee kun je per onderdeel en per VM/container inzicht krijgen in wat de belasting ervan is.

Er is een beperkt aantal SATA aansluitingen in moderne systemen. Een 3.5" disk verbruik vaak veel (soms meer dan de rest van de computer).

Je hebt inzicht nodig in wat het verbruik is van de onderdelen die je meeneemt.

[Church of Noise]

Even een snelle check als ik mag: zoals eerder aangegeven ga ik een Home Assistant server opzetten op basis van een Intel NUC 8 i3. Nu heb ik enkel nog een schijf nodig en overweeg de https://tweakers.net/pric...g-970-evo-plus-250gb.html, ik lees hier veel bijval voor de Samsung EVO schijven, is dit dan een goede keuze? Daarnaast zie ik dat de 'top scorer' op de hardwareluxx lijst in idle consumption een variant van https://tweakers.net/pric...kingston-a2000-250gb.html gebruikt.

Of toch beter een 2.5" SATA versie (zoals ook gesuggereerd in de OP) zoals https://tweakers.net/pric...-mz-77e250b-eu-250gb.html? (of nog iets anders?)
Uiteindelijk is 250GB al méér dan genoeg, dus zeker niet de bedoeling om veel data op bij te houden. Opnieuw is verbruik een erg belangrijke factor (de data van hardwareluxx gaat over grotere schijven voor zo ver ik zag dus weinig relevante datapunten)

Ondertussen ook aan het kijken voor een Akasa Plato behuizing om ook de fan er van tussen te halen...

[mrmrmr]

@Church of Noise NVMe SSD's hebben soms invloed op de package C state. Die blijft dan hangen op C2/C3. Dat scheelt Watts. Het lijkt af te hangen van het M.2 slot, de controller of de SSD.

De Kingston A2000 had een probleem. Iemand van c't heeft er een patch voor gemaakt.

Samsung doet het in de praktijk meestal goed, bijvoorbeeld EVO of QVO. Het maximum verbruik van oudere SATA modellen is beperkt. Zie tests bijvoorbeeld hier op Tweakers of Anandtech.

Sommige SSD's (NVMe) kunnen niet in de diepste low power stand onder Linux. Die stand is uitgeschakeld in de kernel, meestal omdat er een probleem is. Het gaat om modellen van allerlei merken. Bij SATA wordt het hele low power management voor een klein aantal -meestal obscure- drives uitgeschakeld.

Lijst van NVMe quirks:
https://github.com/torval...r/drivers/nvme/host/pci.c

Lijst van SATA horkage:
https://github.com/torval...drivers/ata/libata-core.c

[ Voor 5% gewijzigd door mrmrmr op 26-06-2023 14:03 ]

[Church of Noise]

Dank voor de snelle respons @mrmrmr !
Het zal een Samsung 970 EVO plus worden dan (lijkt volgens de excel lijst tot C10 te kunnen).
Ik rapporteer terug eens de zaken in elkaar zitten!

[TRAXION]

Church of Noise schreef op maandag 26 juni 2023 @ 10:35:
Dank voor de snelle respons @mrmrmr !
Het zal een Samsung 970 EVO plus worden dan (lijkt volgens de excel lijst tot C10 te kunnen).
Ik rapporteer terug eens de zaken in elkaar zitten!

Welke excel lijst is dit, of lees ik ergens overheen ?

[RobertMe]

mrmrmr schreef op maandag 26 juni 2023 @ 09:54:
@Church of Noise NVMe SSD's hebben soms invloed op de package C state. Die blijft dan hangen op C2/C3. Dat scheelt Watts. Het lijkt af te hangen van het M.2 slot, de controller of de SSD.

De Kingston A2000 had een probleem. Iemand van c't heeft er een patch voor gemaakt.

Bovenstaande hoort bij onderstaande?

Lijst van NVMe quirks:
https://github.com/torval...r/drivers/nvme/host/pci.c

Die patch voor de A2000 waar je naar linkt heeft niks te maken met de C states. Probleem met die drive is/was (Kingston heeft later nog een firmware update uitgebracht*) dat die soms niet meer uit deep sleep kwam. En die patch voorkomt dus dat die deep sleep in gaat. Dat staat dus los van de (recenter vaker optredende) issues waarbij de CPU geen lagere C states bereikt als je een NVMe drive gebruikt.
Ok, mogelijk dat er wel een relatie is tussen de state van de NVMe drive en C state, en een drive die niet in sleep gaat/mag daarmee ook een lagere C stare voorkomt? Maar je "intro" naar de drive doet het stellen dat met die patch je wel een lagere C state kunt bereiken met deze drive, en dat is niet aan de orde.

* Een patch die uiteraard "niks doet". Mogelijk lost de patch het issue met deep sleep op. Maar zolang OSen gepatcht zijn om nooit deep sleep te activeren voor dit model is de patch voor een "hypothetisch" issue dat nooit voorkomt.

[alex3305]

mrmrmr schreef op maandag 26 juni 2023 @ 00:14:
Het oude verbruik is relevant als je onderdelen wil meenemen. Heb je een energiemeter? Daarmee kun je per onderdeel en per VM/container inzicht krijgen in wat de belasting ervan is.

Er is een beperkt aantal SATA aansluitingen in moderne systemen. Een 3.5" disk verbruik vaak veel (soms meer dan de rest van de computer).

Je hebt inzicht nodig in wat het verbruik is van de onderdelen die je meeneemt.

Wellicht heb ik mijzelf niet duidelijk genoeg gemaakt en het te wollig opgeschreven, maar:

• De huidige J4105 Docker server wil ik de deur uit hebben
• De NAS blijft, maar met (veel) minder of geen Docker containers
• Ik wil een veel krachtigere applicatieserver ter vervanging
• Alle opslag blijft minimaal zoals het is

Vandaar ook de systemen die ik had uitgekozen.

---

Maar om jouw vraag te beantwoorden mijn NAS doet idle met 2x NVMe disks, 3x 3,5" disks en 3x 2,5" disks nu zo'n 20W de laatste keer dat ik wat metingen had gedaan. Dit is wel een bouwmarkt energiemeter dus misschien niet al te betrouwbaar . Op dat systeem heb ik een best agressieve hd-idle container draaien in Docker:

YAML:

---
services:
  hdidle:
    image: hotio/hdidle:latest
    container_name: hdidle
    privileged: true
    restart: always
    environment:
      PUID: '99'
      PGID: '100'
      UMASK: '022'
      TZ: "Europe/Amsterdam"
      ARGS: '-i 900 -a sda -i 600 -a sdb -i 600 -a sdc -i 600'
    volumes:
      - hdidle-config:/config

volumes:
  hdidle-config:
    name: hdidle-config

Omdat QNAP de disks niet in slaapstand laat gaan wanneer Container Station draait . Tevens heb ik de draaiende schijven uit de QNAP RAID1 array gehaald zodat daar in ieder geval geen OS of appdata op geschreven kan worden. Lijkt overigens niet zo bijzonder veel effect te hebben.

Ik wil binnenkort daarom nog eens gaan testen met unRAID op die machine. Dat moet namelijk mogelijk zijn. Dan heb ik in ieder geval wat meer controle over de omgeving.

[mrmrmr]

Church of Noise schreef op maandag 26 juni 2023 @ 10:35:
Dank voor de snelle respons @mrmrmr !
Het zal een Samsung 970 EVO plus worden dan (lijkt volgens de excel lijst tot C10 te kunnen).
Ik rapporteer terug eens de zaken in elkaar zitten!

NVMe SSD's veroorzaken voor zover ik weet niet vaak een obstructie voor hoge package C states. Maar de package C state problemen komen wel vaak voor. Het is nodig om je daar bewust van te zijn. Bijvoorbeeld als je twee NVMe's gebruikt kan het voorkomen dat een van de twee de package C state laag houdt. Zoals ik schreef kan het ook aan de controller liggen.

De issue met de NVMe laagste power saving stand is een ander probleem, dat Linux via de drivers aanpakt (lees: gewoon uitschakelt). Je kunt zelf in de source code opzoeken of er voor een bepaalde drive maatregelen zijn genomen. In de SATA source code wordt het hele power management voor bepaalde (meestal oude) drives uitgeschakeld.

NVMe wordt niet gehinderd door de maximum doorvoersnelheid van SATA, maar de vraag is hoe vaak dat maximum in werkelijkheid wordt gebruikt. Je hebt daarvoor een bron nodig die minstens evenveel data kan leveren. Mijn afweging tot nu is geweest dat SATA goed en zuinig werkt, daarom gebruik ik SATA. Maar in de toekomst is overstappen naar een enkele (grote) NVMe wel een optie omdat het aantal SATA poorten beperkt is tot 4 bij moderne systemen.

[mrmrmr]

alex3305 schreef op maandag 26 juni 2023 @ 12:02:

• De NAS blijft, maar met (veel) minder of geen Docker containers

Minder is doorgaans beter voor verbruik, maar let ook op wat er draait, want sommige "moderne" applicaties verzamelen op grote schaal data, terwijl dat niet echt zinvol is. Logging kan het beste worden beperkt tot het noodzakelijke. De frequentie kan doorgaans omlaag en het aantal datasoorten ook.

Logging zou alleen op een SSD moeten plaatsvinden.

Maar om jouw vraag te beantwoorden mijn NAS doet idle met 2x NVMe disks, 3x 3,5" disks en 3x 2,5" disks nu zo'n 20W de laatste keer dat ik wat metingen had gedaan. Dit is wel een bouwmarkt energiemeter dus misschien niet al te betrouwbaar . Op dat systeem heb ik een best agressieve hd-idle container draaien in Docker:

Ik verwacht niet dat je veel wint en je kan er ook op achteruit gaan. De onderdelen die het meest verbruiken zijn de 3.5" disks, en zender/ontvangers zoals Zigbee voegen ook nog wat toe.

Omdat QNAP de disks niet in slaapstand laat gaan wanneer Container Station draait . Tevens heb ik de draaiende schijven uit de QNAP RAID1 array gehaald zodat daar in ieder geval geen OS of appdata op geschreven kan worden. Lijkt overigens niet zo bijzonder veel effect te hebben.

RAID-1/5/10 e.d. is niet goed voor de zuinigheid van servers om meerdere redenen. Het vereist dat extra drives draaien. RAID voorkomt typisch dat een drive kan worden uitgeschakeld (spindown).

Een goede backupstrategie is van belang. Dat kan offline, bijvoorbeeld via een tijdelijke USB3 verbinding. Die verbruikt dus alleen energie wanneer de backup wordt gemaakt. Dat scheelt enorm in energiekosten, want het is "cold storage".

Ik wil binnenkort daarom nog eens gaan testen met unRAID op die machine. Dat moet namelijk mogelijk zijn. Dan heb ik in ieder geval wat meer controle over de omgeving.

Linux als besturingssysteem is zuinig gebleken. FreeBSD, ESXi en dergelijke zijn niet zuinig omdat die geen ondersteuning hebben voor systeembreed low power management.

Je kunt misschien onder de gepinde posts informatie vinden.

Van de systemen die je noemt zou ik de DeskMini H470 kiezen. En voorkomen dat bepaalde applicaties een zwaar beslag leggen op de processor. Daar zit de "echte" winst.

[alex3305]

@mrmrmr Dat minder applicaties draaien op een systeem voor minder verbruik zorgt is nogal een open deur, niet waar?

Ik ga geen applicaties uit mijn Docker stack halen. Ik draai nu al een redelijk minimale set voor mijn doen. Echter wil ik het allemaal consolideren op een sneller systeem. Dat was het doel van mijn initiële vraag ook.

Ik verwacht niet dat je veel wint en je kan er ook op achteruit gaan.

Sorry, dit vind ik onzin. De door mij gesuggereerde systemen zijn een factor 8 tot 10 sneller dan de huidige setup met vergelijkbaar verbruik. In absoluut energieverbruik ga ik er dus waarschijnlijk iets op achteruit, maar de performance per watt zal aanzienlijk hoger zijn.

Logging zou alleen op een SSD moeten plaatsvinden.

[...]

RAID-1/5/10 e.d. is niet goed voor de zuinigheid van servers om meerdere redenen. Het vereist dat extra drives draaien. RAID voorkomt typisch dat een drive kan worden uitgeschakeld (spindown).

Als je de door mij gelinkte pagina had gelezen had je misschien gesnapt waar dit over ging. QNAP maakt namelijk standaard een RAID1 array aan voor applicatie data van het OS. Dit doet QNAP op alle beschikbare schijven. Zowel SSD's als HDD's. Dat wanneer er een schijf uitvalt, het OS gewoon door kan blijven draaien.

Voor energiezuinigheid heb ik het spinnend roest uit deze array gehaald. De RAID1 array bestaat dus nog wel, maar is degraded. Dit is het best case scenario, aangezien deze array verplicht is in QTS (het QNAP OS).

Linux als besturingssysteem is zuinig gebleken.

unRAID is Linux. Net zoals QTS. Ik ben daar ook redelijk thuis in en heb de verwante posts ook doorgelezen.

[mrmrmr]

alex3305 schreef op maandag 26 juni 2023 @ 14:42:
@mrmrmr Dat minder applicaties draaien op een systeem voor minder verbruik zorgt is nogal een open deur, niet waar?

Het is een open deur, maar wel een die te vaak wordt overgeslagen. Het is beter voor zuinigheid om bepaalde taken gewoon direct op het besturingssysteem te installeren. VM's vooral, maar ook containers komen met een overhead.

Ik ga geen applicaties uit mijn Docker stack halen. Ik draai nu al een redelijk minimale set voor mijn doen. Echter wil ik het allemaal consolideren op een sneller systeem. Dat was het doel van mijn initiële vraag ook.

Het doel van dit topic is om energie te besparen. Consolideren wordt vaak verkeerd gebruikt, het betekent alles in 1 onderbrengen. Zoveel mogelijk onderbrengen direct onder het besturingssysteem levert besparingen op. Daarnaast zou je de overhead van energiehongerige applicaties moeten beperken om energiezuinig te kunnen draaien.

Elementen:
• hardware+BIOS
• besturingssysteem
• zoveel mogelijk vermijden virtualisatie/gelaagdheid
• applicaties optimaliseren.

Alle onderdelen moeten worden geoptimaliseerd voor het beste resultaat. Alleen focussen op hardware heeft bijvoorbeeld niet veel zin. Je hebt al redelijk zuinige hardware.

Sorry, dit vind ik onzin. De door mij gesuggereerde systemen zijn een factor 8 tot 10 sneller dan de huidige setup met vergelijkbaar verbruik. In absoluut energieverbruik ga ik er dus waarschijnlijk iets op achteruit, maar de performance per watt zal aanzienlijk hoger zijn.

Je hebt al zuinige systemen. Verwacht niet dat een grotere processor daar positief aan gaat bijdragen. Het verbruik van modernere processoren ligt al hoger omdat de frequentie steeds hoger wordt geklokt. Het verbruik neemt kwadratisch toe in ruil voor maar heel weinig winst in de hogere regionen. Anders gezegd: het verbruik neemt onevenredig harder toe dan de performance.

Mijn opmerking over RAID ging over RAID in zijn algemeen. RAID is niet zinvol voor een zuinig systeem. Dat is mijn boodschap.

unRAID is Linux. Net zoals QTS. Ik ben daar ook redelijk thuis in en heb de verwante posts ook doorgelezen.

Je kunt in de gepinde posts terugzoeken wat de ervaringen zijn t.o.v. andere Linux gebaseerde systemen.

[padoempats]

mrmrmr schreef op maandag 26 juni 2023 @ 15:39:
[...]


Het is een open deur, maar wel een die te vaak wordt overgeslagen. Het is beter voor zuinigheid om bepaalde taken gewoon direct op het besturingssysteem te installeren. VM's vooral, maar ook containers komen met een overhead.

[...]

Wat betreft het draaien van een applicatie in een container of niet, heb je dit verschil kunnen meten danwel is dit onderbouwd? In feite draait een applicatie binnen een container direct op het OS en is er nauwelijks sprake van gelaagdheid. Ja het draait binnen een eigen namespace maar het is niet te vergelijken met het verschil met een VM op een hypervisor. Ik kan mij eigenlijk nauwelijks voorstellen dat dit enige meetbare extra overhead met zich meebrengt (behalve in het geval van extra monitoring erop, maar dat is secundair, dat kan op een native app op).

[andru123]

@Church of Noise Kleinere SSD van 250Gb betekent niet automatisch dat verbruik minder is. Joust daar soms heel andere controller of geheugen in zit. Ik persoonlijk zou overwegen een grotere SSD, 250Gb anno 2023 kopen is niet rendabel en zeker niet future proof
ook over A2000 in deze topic, als je zoekt, waren er uitgebreide discussies geweest.
@padoempats Dat is vrij lastig om precies te meten neem ik aan. Maar bijv. Mich rapporteert extra ~0.4W per debian VM in proxmox.

[mrmrmr]

Containers zijn al vele malen beter dan VM's. Het beheersysteem zelf is de grootste verbruiker. Dat kun je ook zien in de gepinde posts en andere posts in dit topic. Zie het verbruik van die onderdelen in bijvoorbeeld top output.

Een low impact vorm van containerisatie is systemd (proces #1), met name geschikt voor beveiliging (als dat je doel was). Maar dat is niet makkelijk te beheren en de informatie erover is schaars. Kost dus veel tijd om uit te zoeken wat een applicatie nodig heeft. De applicatiebouwers zelf doen typisch weinig moeite voor.

Als zeer sterke beveiliging onnodig is, dan is het beter om zoveel mogelijk direct op het besturingssysteem te draaien.

[ Voor 10% gewijzigd door mrmrmr op 26-06-2023 16:06 ]

[padoempats]

andru123 schreef op maandag 26 juni 2023 @ 15:55:
Dat is vrij lastig om precies te meten neem ik aan. Maar bijv. Mich rapporteert extra ~0.4W per debian VM in proxmox.

Ik had het over de overhead van containers, niet vm's.

[ Voor 10% gewijzigd door padoempats op 26-06-2023 15:58 ]

[alex3305]

mrmrmr schreef op maandag 26 juni 2023 @ 15:39:
Alle onderdelen moeten worden geoptimaliseerd voor het beste resultaat. Alleen focussen op hardware heeft bijvoorbeeld niet veel zin. Je hebt al redelijk zuinige hardware.

Ik wil en hoef niet het beste resultaat. Ik wil het beste resultaat voor mijn use case. En dat is dezelfde applicaties blijven draaien op unRAID op snellere hardware. Immers is mijn hardware nu te traag voor wat ik er mee wil doen.

Maar volgens had ik deze vraag inmiddels al vrij duidelijk gemaakt in mijn vorige posts.

Consolideren wordt vaak verkeerd gebruikt, het betekent alles in 1 onderbrengen.

[...]

Mijn opmerking over RAID ging over RAID in zijn algemeen. RAID is niet zinvol voor een zuinig systeem. Dat is mijn boodschap.

Misschien is citeren én algemeen reageren dan niet zo handig . Het vertroebelt namelijk nogal de eventuele discussie.

[Church of Noise]

andru123 schreef op maandag 26 juni 2023 @ 15:55:
@Church of Noise Kleinere SSD van 250Gb betekent niet automatisch dat verbruik minder is. Joust daar soms heel andere controller of geheugen in zit. Ik persoonlijk zou overwegen een grotere SSD, 250Gb anno 2023 kopen is niet rendabel en zeker niet future proof
ook over A2000 in deze topic, als je zoekt, waren er uitgebreide discussies geweest.
@padoempats Dat is vrij lastig om precies te meten neem ik aan. Maar bijv. Mich rapporteert extra ~0.4W per debian VM in proxmox.

Klopt.

Maar m'n installatie is alles samen momenteel 17GB groot, dus zelfs 128 GB is ruim te groot.
In absolute termen is alles dat groter is, dus weggegooid geld
En de 970 Evo Plus kost momenteel 27 euro...

Net ('retroactief' ) de topic nog even doorgespit en ben blij dat ik inderdaad geen Kingston A2000 heb genomen.

[ Voor 6% gewijzigd door Church of Noise op 26-06-2023 18:22 ]

[padoempats]

mrmrmr schreef op maandag 26 juni 2023 @ 15:57:
Containers zijn al vele malen beter dan VM's. Het beheersysteem zelf is de grootste verbruiker. Dat kun je ook zien in de gepinde posts en andere posts in dit topic. Zie het verbruik van die onderdelen in bijvoorbeeld top output.

Een low impact vorm van containerisatie is systemd (proces #1), met name geschikt voor beveiliging (als dat je doel was). Maar dat is niet makkelijk te beheren en de informatie erover is schaars. Kost dus veel tijd om uit te zoeken wat een applicatie nodig heeft. De applicatiebouwers zelf doen typisch weinig moeite voor.

Als zeer sterke beveiliging onnodig is, dan is het beter om zoveel mogelijk direct op het besturingssysteem te draaien.

Ja hier heb je op zich wel een goed punt, maar dat is een beetje wat ik bedoelde met 'secundair'. Het zijn dan de supporting tools van containers wat voor overhead zorgt: monitoring en management. Dit is in basis ook een keuze. Zoiets wil je ook als je geen containers gebruikt. Er zal best een goed verschil zitten in het type (kubernetes bijv zal een stuk zwaarder zijn dan native containerd).

[FireDrunk]

De overheid van Containers is vrijwel niet meetbaar. In de basis zijn het cgroups in de kernel.
Elk process draait by default al in een cgroup, het enige verschil met een container is dat er een *nieuwe* cgroup gemaakt wordt.

Qua (ruwe applicatie) CPU is er dus vrijwel 0 overheid. Qua geheugen ook.
Qua filesystem is er een theoretische overhead omdat je overlayfs gebruikt (by default), wat misschien een paar procent meer CPU kost per IO, maar dat is echt zo weinig, dat het in het niet valt bij gewone applicatie load.

De enige meetbare overhead zou ik zien in netwerkverkeer. Als je complexere setups gebruikt met encrypted overlay netwerken heb je wel wat overhead.

In de basis zit je met wat extra `iptables` rules die een beetje meer CPU kosten, en er wordt intern in de kernel dus iets meer packet forwarding gedaan dan met native draaien.

Al met al zou ik de overhead van een container vs een native applicatie op minder dan 1% van je applicatieload schatten.

[mrmrmr]

@Church of Noise Het verbruik is niet zo verschillend inderdaad, maar er is zit toch een voordeel aan de wat grotere SSD's, namelijk het kan meer data wegschrijven en in de praktijk kan dat betekenen dat het lang meegaat. Het heeft vaak ook een grotere SLC cache.

Aan de andere kant, je zult toch wel een probleem hebben als je van een 250 GB drive "op" weet te gebruiken binnen een redelijke termijn. Dat betekent dat er heel veel wordt weggeschreven en dat er misschien te vaak data wordt weggeschreven, wat niet goed is voor het verbruik.

[andru123]

Voor mij kennis: stel er zijn 20 containers. Elke container doet ook systeem taken - bijv tijd synchronisatie? Dus dan 20 keer NTP server wordt aangesproken (in plaats van 1 keer)? En ook elke container zijn eigen internal timer/interrupts/... doet?

[dcm360]

@andru123 Dat zijn allemaal zaken die een container niet regelt, maar wat 'gratis' (of zeer goedkoop) al gedaan wordt door de host.

---

En nog even terugkomend op raid en standby van schijven: dat doet het in principe wel gewoon, maar uiteraard heb je de schijven uit een array wel allemaal nodig bij activiteit. Zonder activiteit op de array kunnen ze wel in standby, en op die manier is 1 van de 2 arrays in mijn thuisserver nauwelijks in active/idle.

[ Voor 54% gewijzigd door dcm360 op 26-06-2023 16:41 ]

[FireDrunk]

andru123 schreef op maandag 26 juni 2023 @ 16:33:
Voor mij kennis: stel er zijn 20 containers. Elke container doet ook systeem taken - bijv tijd synchronisatie? Dus dan 20 keer NTP server wordt aangesproken (in plaats van 1 keer)? En ook elke container zijn eigen internal timer/interrupts/... doet?

Nee, zo werken containers niet. Een container bevat meestal maar 1 (of hooguit enkele) proces(sen).
Dus letterlijk de binary die jij start als applicatie is het enige dat afgezonderd wordt van de rest van het systeem.

De abstractie gebeurt op de Linux Kernel op het niveau van ioctl's (calls die dingen vragen aan de kernel).
Daar wordt onderscheid gemaakt tussen wat de applicatie ziet.

In principe is een container dus gewoon een draaiende applicatie net als alle andere, alleen is het net even wat meer afgezonderd.

[RobertMe]

Kan iedereen niet duidelijk zijn in welke vorm van de catchterm container die gebruikt? Want er wordt naar mijn idee nogal lekker langs elkaar af gesproken.

Docker => in principe 1 proces per "container". In principe weinig overhead op "runtime" doordat je maar 1 proces (/enkele processen) draait en dat wilde je toch al draaien, maar je zit wel met overlayfs dat wat extra overheid geeft.
LXC => volledig Linux OS in een container, dit is wat o.a. Proxmox gebruikt. In principe is het een "chroot" en dus heb je geen extra filesystem overhead. Het is weer wel een volledig OS dus je hebt wat extra overhead (elke container draait zijn eigen init, bv systemd, elke container zal zijn eigen netwerk beheer doen en dus mogelijk een systemd-networkd, of networkmanager, of... draaien)
"containers" in systemd (omdat die door @mrmrmr is aangestipt, meeste zullen het niet kennen) => lekker ruw "i.p.v. dit proces 'native' te draaien start het in een eigen network namespace / pid namespace / mount namespace / ...". Dit geeft puur wat isolatie voordelen en zou verder echt vrijwel 0 overhead moeten geven (niet de nadelen van Docker dat je overlayfs hebt dat overhead geeft, noch de nadelen van LXC waarbij je meerdere keren "pid 1" en andere achtergrondzaken hebt).

[andru123]

In Proxmox kan je beiden VMs and CTs hebben?

[mrmrmr]

Containerd heeft een groot aantal taken, en zoals gezegd is er een merkbare en meetbare overhead, vooral intern veroorzaakt door filters en daarbij behorende code. Dat kun je zelf zien op je eigen systeem door met top en/of powertop te volgen wat de impact is op het systeem.

Je kunt de containers en de containerd service stoppen en meten wat het verbruik is met en zonder die service. Zonder is de basis (met alle onnodige services gestopt), vervolgens met containerd (zonder containers: lege overhead), vervolgens met en per container. Zodoende kun je zien waar precies de belasting ligt.

Het uitgangspunt is een voor zuinigheid geoptimaliseerd systeem in standaard configuratie: moederbord, ssd, Windows of zuinige Linux zoals Debian, monitor in slaapstand, bedrade toetsenbord/muis, ssd. Verder niets aangesloten en met onnodige services stopgezet. Doel is beinvloeding en verstoring te vermijden.

Docker is een toepassing die containerd gebruikt.

Systemd is het low level proces (dicht op de kernel) dat veel van die containerachtige taken ook kan uitvoeren in lichtgewicht via kernel api's. Maar het is niet gebruiksvriendelijk tenzij je toevallig een betrouwbare kant en klare conf voor een toepassing kan vinden. Het staat dan wel toe een applicatie direct op het besturingssysteem te draaien en overhead te reduceren tot een minimum als separatie toch nodig is.

[RobertMe]

mrmrmr schreef op maandag 26 juni 2023 @ 17:44:
Containerd heeft een groot aantal taken, en zoals gezegd is er een merkbare en meetbare overhead, vooral intern veroorzaakt door filters en daarbij behorende code. Dat kun je zelf zien op je eigen systeem door met top en/of powertop te volgen wat de impact is op het systeem.

Je kunt de containers en de containerd service stoppen en meten wat het verbruik is met en zonder die service. Zonder is de basis (met alle onnodige services gestopt), vervolgens met containerd (zonder containers: lege overhead), vervolgens met en per container. Zodoende kun je zien waar precies de belasting ligt.

Het uitgangspunt is een voor zuinigheid geoptimaliseerd systeem in standaard configuratie: moederbord, ssd, Windows of zuinige Linux zoals Debian, monitor in slaapstand, bedrade toetsenbord/muis, ssd. Verder niets aangesloten en met onnodige services stopgezet. Doel is beinvloeding en verstoring te vermijden.

Docker is een toepassing die containerd gebruikt.

Systemd is het low level proces (dicht op de kernel) dat veel van die containerachtige taken ook kan uitvoeren in lichtgewicht via kernel api's. Maar het is niet gebruiksvriendelijk tenzij je toevallig een betrouwbare kant en klare conf voor een toepassing kan vinden. Het staat dan wel toe een applicatie direct op het besturingssysteem te draaien en overhead te reduceren tot een minimum als separatie toch nodig is.

En dan niet vergeten dat je niet eens Docker (incl containerd) hoeft te gebruiken om "docker containers" te draaien. Immers zijn Docker containers tegenwoordig vastgelegd in een standaard, OCI. En Podman is een alternatieve runtime voor images volgens het OCI image format. Waarbij Podman geen extra daemons draait puur voor de containers (wat Docker dus wel doet, je moet altijd dockerd draaien, en de docker CLI babbelt weer met de daemon).

En uiteindelijk gebruiken Docker/containerd, Podman, LXC, en Systemd allemaal dezelfde APIs van de Linux kernel en zijn puur in "isolatie" net zo (on)zuinig. De vraag is alleen hoeveel extra zaken ze toevoegen. Bij Docker & Podman draait er op zijn minst per "container netwerk" een DNS server, immers kunnen de containers met elkaar babbelen op basis van de host-/container name. Vervolgens is er ook nog ondersteuning voor health checks wat overhead geeft. Met Docker Swarm & Kubernetes krijg je weer veel meer management zaken erbij, maar levert ook extra CPU verbruik etc op (IIRC heeft @Mars Warrior daar wel eens over geschreven? K3s (dus lichtere K8s implementatie) vs Docker Swarm).
Bij LXC heb je dan weer het "nadeel" dat het een volledig OS realiseert en je dus ook alle, nodige en onnodige, achtergrondprocessen erbij krijgt.

En bij bv Systemd ben je 100% zelf in controle en spreek je eigenlijk niet eens over containers maar over alle losstaande technieken. Dus je geeft bv aan dat een service in een eigen/nieuwe network namespace moet draaien. Maar dan heeft die dus ook alleen de lo / loopback interface en verder niks. Voor communicatie met de buitenwereld mag je dan even zelf in elkaar knutselen dat (twee) veth interfaces worden aangemaakt waarbij de een in de main/default/... namespace leeft en de ander in de nieuw aangemaakte namespace (verkeer dat de ene veth interface in gaat komt automatisch aan de andere veth interface "naar buiten"). Waarbij Docker exact hetzelfde doet, voor een bridge network maakt die een bridge aan in de hoofd namespace. Per container maakt die vervolgens een nieuwe namespace aan en een veth paar, een in de namespace, ander in de hoofd namespace gekoppeld aan de bridge. Verkeer van uit de container gaat dus naar de veth interface in de container, vervolgens gaat het via de veth interface in de hoofd namespace naar de bridge, en verlaat het de bridge middels de standaard routing tabel (tenzij je zelf routing policies maakt om verkeer uit die interface een andere tabel te laten gebruiken, which I did).
En met bv "het filesystem" zal dat niet anders zijn. Bij Systemd zul je zeggen welke mappen beschikbaar moeten zijn voor het proces en/of wat de hoofd map is. Terwijl bij Docker dus ook ergens een root directory wordt opgezet bestaand uit alle lagen uit het image + een "dirty/working" dir van de container samengevoegd middels overlayfs en vervolgens daarin nog eens bind mounts voor de volumes die je zelf opgeeft. En dat zal dienst doen als de root directory.

[Mich]

andru123 schreef op maandag 26 juni 2023 @ 17:26:
In Proxmox kan je beiden VMs and CTs hebben?

Klopt. Maar een CT is iets van proxmox zelf. Dat is niet helemaal hetzelfde als docker containers.

[latka]

Mich schreef op maandag 26 juni 2023 @ 18:10:
[...]


Klopt. Maar een CT is iets van proxmox zelf. Dat is niet helemaal hetzelfde als docker containers.

Een CT is een LXC Container. Omdat Proxmox vroeger VZ had ipv. LXC hebben ze gekozen om het CT te noemen zodat migratie eenvoudiger is. Dus CT=LXC=Wat iedereen gebruikt voor containers. LXC kun je een complete distro laten draaien (minus de kernel) of een enkele applicatie (en dan lijkt het op docker). Docker is een proprietary technology die gemaakt is op basis van LXC. Dus als je echt lichtgewicht wilt gaan: LXC gebruiken en 1 proces starten (en dus niet /sbin/init want dan draai je een volledig OS).

[MuVo]

mrmrmr schreef op maandag 26 juni 2023 @ 09:54:
@Church of Noise NVMe SSD's hebben soms invloed op de package C state. Die blijft dan hangen op C2/C3. Dat scheelt Watts. Het lijkt af te hangen van het M.2 slot, de controller of de SSD.

De Kingston A2000 had een probleem. Iemand van c't heeft er een patch voor gemaakt.

Samsung doet het in de praktijk meestal goed, bijvoorbeeld EVO of QVO. Het maximum verbruik van oudere SATA modellen is beperkt. Zie tests bijvoorbeeld hier op Tweakers of Anandtech.

Sommige SSD's (NVMe) kunnen niet in de diepste low power stand onder Linux. Die stand is uitgeschakeld in de kernel, meestal omdat er een probleem is. Het gaat om modellen van allerlei merken. Bij SATA wordt het hele low power management voor een klein aantal -meestal obscure- drives uitgeschakeld.

Lijst van NVMe quirks:
https://github.com/torval...r/drivers/nvme/host/pci.c

Lijst van SATA horkage:
https://github.com/torval...drivers/ata/libata-core.c

Goed om te weten dat er mogelijk beperkingen en tweaks bestaan om een ssd in een bepaalde power State te krijgen.

Na mijn bijgewerkte post over de cpu ga ik de ssd en nvme nog een goed bekijken op verbruik.

Nog een interessant artikel over verbruik ssd’s: https://www.anandtech.com...021-ssd-benchmark-suite/6

[andru123]

MuVo schreef op dinsdag 27 juni 2023 @ 00:01:
Na mijn bijgewerkte post over de cpu ga ik de ssd en nvme nog een goed bekijken op verbruik.

Allemaal goede info bronen, bedankt! Interressant om te lezen. Nu wil ik ook 13600k - verbeterde Adler lake, grotere cache per performance core (cache misses heel duur zijn, qua tijd en energie), verbeterde branch prediction en scheduler. Nadeel is dat er zijn teveel cores, niet uitschakelbaar, niet echt zuinig. Jammer dat er is niemand nog dat echte Raptor Lake heeft getest, maar ik twijfel dat het wordt zoveel zuinig in idle als 12700k van Mars Warrior.

[Mars Warrior]

Even inhaken op de afgelopen pagina's

Nu
Mijn server draait met ca 30 containers (getuned op verbruik) rond de 1,5W package power. Dat was rond de 1W, maar het gebruik van een aantal vscode-server apps in een paar containers heeft het verbruik wat doen toenemen.

Grootste Winst
De grootste winst van mijn server is nog steeds:

• een zeer zuinige basis (het Kontron mobo en een goede ATX voeding)
• het limiteren van de max frequentie van de P en E-cores zodat ze zo energie efficiënt mogelijk draaien
• het toewijzen van achtergrondprocessen (backup, maar ook Home Assistant enzo) aan de E-cores. Samen met de beperking in frequentie (max 2.5Ghz ipv 3.8Ghz) doen deze cores ca 2-3W package power / stuk op 100% belasting!
• het toewijzen van interactieve processen aan langzame of snelle P-cores. Ook hier werkt de beperking van de maximale frequentie voor wat langer lopende taken: deze verbruiken een stuk minder energie.

Docker
Verder tav Docker: dat werkt als een tierelier. En een deel van de containers is niet ingericht met 1 app / container. Nee dat is beetje achterhaald. Sommige containers draaien een hele berg aan apps (10-20) om het beheer eenvoudig te houden.

Bedenk ook dat wat ik in sommige containers heb draaien vaak bare-metal of in een VM wordt gedraaid. De grootste containers draaien meerdere websites. Dus Wordpress, PHP7.4, PHP8.x, mySQL, FTP en een beheer dashboard om dat alles in te richten.

Winst in verbruik
De consolidatie van 3 servers naar 1 EN tunen van de installatie op efficiëntie levert afhankelijk van de maand tov 2022 een besparing van ca 50-70kWh / maand op. Dat is meer dan ik had verwacht.

Dat is tussen de 600 en 840 kWh per jaar als dit zo doorgaat!

[RobertMe]

Mars Warrior schreef op dinsdag 27 juni 2023 @ 12:07:
Docker
Verder tav Docker: dat werkt als een tierelier. En een deel van de containers is niet ingericht met 1 app / container. Nee dat is beetje achterhaald. Sommige containers draaien een hele berg aan apps (10-20) om het beheer eenvoudig te houden.

Bedenk ook dat wat ik in sommige containers heb draaien vaak bare-metal of in een VM wordt gedraaid. De grootste containers draaien meerdere websites. Dus Wordpress, PHP7.4, PHP8.x, mySQL, FTP en een beheer dashboard om dat alles in te richten.

Zelf gebakken containers dan? * RobertMe vraagt zich af of je bv van het voorbeeld dan niet net zo makkelijk de distro packages pakt en de systemd services "extend" door cgroups toe te passen om ze aan een core te koppelen + alle limieten die je verder hebt.
Nu zul je daarmee natuurlijk niet meteen Docker helemaal buiten spel zetten, maar als je zelf de containers bakt valt een groot voordeel van Docker weg IMO (makkelijk hergebruik / distributie). De isolatie is wellicht geen echte vereiste, en/maar ook met systemd te bereiken, en hoe je nu de CPU, memory, ... restricties oplegt kan ook met systemd.

Overigens gebruik ik zelf ook Docker voor het gemak. Maar ben daar ook nog niet helemaal over uit. Op mijn zelfbouw router (Debian) op een gegeven moment spul wel in Docker gestopt omdat o.a. PiHole een b*tch is om bare metal te draaien (hallo apt update tijdens een PiHole update), en daardoor de rest (unbound, FreeRadius & Dante socks proxy) ook maar in Docker gezet. Maar die laatste kan ik net zo goed met apt installeren. En PiHole ben ik intussen vanaf gestapt met lightweight [https://github.com/0xERR0R/blocky]Blocky[/] als alternatief (single executable, geschreven in Go, dus updaten kan dan gewoon het vervangen van de executable zijn). Maar heb mij intussen laten vertellen dat dit ook met Unbound zelf/direct kan. Dan zou ik niet alleen Docker buitenspel zetten maar ook nog een additionele DNS resolver (PiHole/Blocky/ADG). Waarbij ik Unbound dus sowieso gebruik voor het kunnen doen van recursive queries i.p.v. alsnog een upstream server te hebben waar alle verkeer heen gaat. + uit oog van zuinigheid kan (eigen) DNS server lokaal ook geconfigureerd kan worden om de TTL te overrulen met een minimale tijd (dus bv TTL van 10s aan te passen naar 300s, IIRC een idee dat ik van jou heb over genomen).

[Mars Warrior]

RobertMe schreef op dinsdag 27 juni 2023 @ 13:51:
[...]
Zelf gebakken containers dan? * RobertMe vraagt zich af of je bv van het voorbeeld dan niet net zo makkelijk de distro packages pakt en de systemd services "extend" door cgroups toe te passen om ze aan een core te koppelen + alle limieten die je verder hebt.
Nu zul je daarmee natuurlijk niet meteen Docker helemaal buiten spel zetten, maar als je zelf de containers bakt valt een groot voordeel van Docker weg IMO (makkelijk hergebruik / distributie). De isolatie is wellicht geen echte vereiste, en/maar ook met systemd te bereiken, en hoe je nu de CPU, memory, ... restricties oplegt kan ook met systemd.

Het gros zijn bestaande containers. Ik heb slechts een paar containers zelf gemaakt adh van het install script dat ik via Portainer in het image zie zitten. De reden is dat sommige leveranciers slecht zijn in het onderhouden van hun docker containers, dus dan zit er niks anders op dan die zelf te maken!

Met slecht bedoel ik geen versie tags bijv. Dus je pulled de laatste, en hoppa, alles kapot omdat die sukkels een ander OS hadden genomen. En dat werkt niet als je dingen moet persisteren...

Met een private repository op dockerhub trek ik die gewoon binnen in de compose file.

Het toewijzen van docker containers aan een set cores is standaard functionaliteit in docker, dus dat is erg simpel. Doe ik gewoon via een omgevingsvariabele...

Overigens gebruik ik zelf ook Docker voor het gemak. Maar ben daar ook nog niet helemaal over uit. Op mijn zelfbouw router (Debian) op een gegeven moment spul wel in Docker gestopt omdat o.a. PiHole een b*tch is om bare metal te draaien (hallo apt update tijdens een PiHole update), en daardoor de rest (unbound, FreeRadius & Dante socks proxy) ook maar in Docker gezet.
[...]
Waarbij ik Unbound dus sowieso gebruik voor het kunnen doen van recursive queries i.p.v. alsnog een upstream server te hebben waar alle verkeer heen gaat. + uit oog van zuinigheid kan (eigen) DNS server lokaal ook geconfigureerd kan worden om de TTL te overrulen met een minimale tijd (dus bv TTL van 10s aan te passen naar 300s, IIRC een idee dat ik van jou heb over genomen).

Ik heb AGH en Unbound gewoon in containers draaien. AGH in host mode, en Unbound ergens erachter. Dat werkt gewoon probleemloos.

PiHole is bij mij helemaal kapot gegaan na zo'n apt update / pihole update omdat repositories niet meer bestonden. Tsja, dan ben je dus klaar. AGH draait als een zonnetje op de E-cores
Het verbruik is bijna 50% minder tov AGH op de P-cores draaien. Qua performance merk ik geen enkel verschil want een query duurt door caching gemiddeld 1ms bij AGH!

[Church of Noise]

Church of Noise schreef op woensdag 21 juni 2023 @ 20:18:
Systeem:
- HP 260 G3 Mini --> Intel NUC 8i3BEK
- CPU: Intel i3-7130u --> i3-81099u
- Disk: SK Hynix BC501 128GB NVMe --> Samsung 970 Evo Plus NVMe
- RAM: 8GB --> 8GB (Crucial - 1 latje)
- Netwerk: Realtek RTL8111H (r8168-dkms driver, doet géén ASPM) --> Intel

BIOS:
- geluidskaart en SATA0 uitgeschakeld --> Geluidskaart, BlueTooth & Wifi uitgeschakeld
- SafeBoot uitgeschakeld (want anders werkt r8168 niet) --> Legacy boot enabled, maar UEFI heeft voorrang (lijkt nodig om een 'slaap' bug te vermijden)

Software:

- OS: DietPi met onderliggend Debian Bookworm, WiFi drivers uninstalled (systeem heeft geen WiFi kaart aan boord overigens) --> dito
- Settings:
--- Kernel parameters:

code:

GRUB_CMDLINE_LINUX_DEFAULT="systemd.unified_cgroup_hierarchy=false consoleblank=15 workqueue.power_efficient=true r8168.aspm=1 r8168.hwoptimize=1 r8168.eee_enable=1 pcie_asmp=force"

--> vooralsnog geen aanpassingen aan de Kernel parameters
--- TLP settings: --> identiek

code:

TLP_DEFAULT_MODE=BAT

TLP_PERSISTENT_DEFAULT=1

CPU_SCALING_GOVERNOR_ON_BAT=powersave

CPU_ENERGY_PERF_POLICY_ON_BAT=power


SCHED_POWERSAVE_ON_BAT=1

NMI_WATCHDOG=0

PCIE_ASPM_ON_BAT=powersupersave

RUNTIME_PM_ON_BAT=auto

Meetinstrument: Shelly Plug S

Vermogen:
- Met USB toetsenbord en muis en met HDMI kabel voor scherm ingeschakeld, netwerk ingeschakeld en verbonden: 3.5W --> 2.8W
- Zonder toetsenboard, scherm en muis maar mét netwerkkabel: 3.1W
- Zonder netwerkkabel (maar netwerkkaart wel actief): 2.9W

- netwerkkaart uitgeschakeld, wel met aangesloten muis, toetsenbord en scherm: 2.8W
- netwerkkaart uitgeschakeld, geen randapparatuur: 2.2W

Ik vul dit nog verder aan. Als de OP liever een 'verse' post heeft, maak ik die ook graag aan...

BTW: vreemd probleem: als ik het scherm unplug, gaat de NUC in een diepe 'sleep'. Erg onhandig want ik wil'm als headless server gebruiken...
Iemand ervaring mee?

[RobertMe]

Heeft iemand al eens getest of het een energiebesparing oplevert als je downloads (bv Linux ISOs ) op een (custom, Linux based) router doet en daarna transfered naar een NAS vs rechtstreeks op een NAS downloaden? Kan mij indenken dat een switch bv een relatief verbruik heeft op basis van hoe lang deze actief is en dus bv 1GB over pompen in "8 seconden" minder energie verbruikt dan 1GB super traag over 10 minuten versturen.

* RobertMe is wat aan het twijfelen om wel/niet te downloaden op TonTon based router, met daarop bare metal Debian als router. Zit toch een 500GB SSD in die ik nog had liggen terwijl er maar ~5GB van verbruikt wordt.

[MuVo]

Mich schreef op zondag 25 juni 2023 @ 13:09:
[...]


Ik heb het vorige week voor de 2e keer nagevraagd. Eerst zou het April zijn, maar nu zeiden ze eind Juni.
Dus hopelijk komt hij binnen nu en een week

edit: Volgens mij reageren ze bijna tot niet op prive mail adressen. Ik heb mijn zakelijke adres gebruikt (moet je natuurlijk wel in een bedrijfstak zitten dat het logisch is dat je contact opneemt ). Dan reageren ze telkens binnen uur.

Daar kwam ik achter, ze reageerde niet. mailtje met zakelijk mail gestuurd maar nog geen reactie gekregen. Vandaag met sales gebeld, op verzoek een mailtje gestuurd. Vandaag ook de reactie ontvangen:

Dear Mr. xxxxxx

Thank you very much for your email request.

The K3843-B will support the 13th gen CPUs with an updated BIOS which will be available within the next 2-3 weeks.
Please use our BIOS R2.x.x to support 13th Gen CPUs.
You’ll find it on our FTP-Server.
K3843-B (µATX, Intel® B660) Link to Folder on FTP


Thanks

Helaas we moeten nog even wat langer wachten.

[Mars Warrior]

MuVo schreef op woensdag 28 juni 2023 @ 22:07:
[...]
Helaas we moeten nog even wat langer wachten.

Ze zijn in ieder geval consequent: het duurt elke keer een paar weken

Het is net PostNL: als je elk kwartier in de app kijkt wanneer de bezorger komt duurt het altijd 10 minuten

[andru123]

Ik ben benieuwd waarom nog niemand een custom BIOS geschreven voor Kontron, blijkbaar het is wel mogelijk, op winraid forum er is een modded Kontron BIOS (voor een andere model)

@RobertMe Ik heb alleen verbruik op volle network speed gemeten, voor i225 was het ~10W. Ik was van plan om met iets lagere redelijke snelheden te meten (1, 10, 100, 200 Mbps) met iperf, om te zien wat het verbruik zal zijn. Dit is speciaal belangrijk voor i210 chipset, vanwege "DMA Coalescing" setting, waar Intel belooft "platform power savings of 15 W to 20 W per server with DMA Coalescing" op 0-250 Mbps range. Netwerk traffic thuis zit in dit range meestal, denk ik.

[Mich]

MuVo schreef op woensdag 28 juni 2023 @ 22:07:
[...]


Daar kwam ik achter, ze reageerde niet. mailtje met zakelijk mail gestuurd maar nog geen reactie gekregen. Vandaag met sales gebeld, op verzoek een mailtje gestuurd. Vandaag ook de reactie ontvangen:


[...]


Helaas we moeten nog even wat langer wachten.

Vraag me af waarom het zo lang moet duren. De consumenten borden hebben al lang een update.

[Mich]

andru123 schreef op woensdag 28 juni 2023 @ 22:46:
Ik ben benieuwd waarom nog niemand een custom BIOS geschreven voor Kontron, blijkbaar het is wel mogelijk, op winraid forum er is een modded Kontron BIOS (voor een andere model)

@RobertMe Ik heb alleen verbruik op volle network speed gemeten, voor i225 was het ~10W. Ik was van plan om met iets lagere redelijke snelheden te meten (1, 10, 100, 200 Mbps) met iperf, om te zien wat het verbruik zal zijn. Dit is speciaal belangrijk voor i210 chipset, vanwege "DMA Coalescing" setting, waar Intel belooft "platform power savings of 15 W to 20 W per server with DMA Coalescing" op 0-250 Mbps range. Netwerk traffic thuis zit in dit range meestal, denk ik.

Ik heb wel eens een poging gewaagd. Als je een bios file bewerkt kan je gewoon onderdelen vervangen of verwijderen. Zoals de microcode, intel RST of intel ME management. Vooral dat laatste willen mensen er wel eens uit hebben omdat ze bang zijn dat het een soort spyware is. Ook die intel RST bepaald nogal snelheden van je harde schijf (als ik het mij nog goed herinner) en dat kan je dan binnen een nieuwe bios een versie omlaag doen ofzo . Dingen in de bios unlocken vereist wel kennis op bit niveau om aanpassingen te doen.

[Mich]

Mars Warrior schreef op donderdag 15 juni 2023 @ 11:28:
[...]

Ik heb niks bijzonders gedaan. Intel is iha idle gewoon erg zuinig, en dat is onafhankelijk van de TDP.

[...]

Wat ik wel heb gedaan is de max frequentie van de P en E-cores aangepast zodat ze maximaal efficient draaien.

Dat doet niks met het idle verbruik, maar wel met het overall verbruik als er werk te doen is.

De meeste docker containers draaien op de E-cores @2.5Ghz. Die doen daardoor wel wat langer over de taken, maar verbruiken aanzienlijk minder energie.

Een aantal interactieve docker containers draaien op snelle P-cores @4.5Ghz. Andere interactieve containers draaien op 2.5Ghz en 3.5Ghz P-cores.

Zo heb ik een mooie balans gevonden tussen energieverbruik en benodigde performance. De gezamenlijke TDP komt uit rond de 80W, wat ca 110W is uit het stopcontact. Met de standaard instellingen (125/180W) is dat ca 230W.

In de grafiek hieronder kun je eea zien. Een P-core op 2.5Ghz verbruikt voor een 7-zip taak 2.000 Joule. Dezelfde taak op 5Ghz kost bijna 6.000 Joule. Dezelfde dingen zie je voor de E-cores.

[Afbeelding]

Zou je misschien kort kunnen uitleggen hoe ik deze test zelf kan doen (welke tools), dan wil ik ook zo een grafiek maken voor mijn CPU. Misschien wel handig om een beetje op dezelfde manier te testen zodat vergelijken makkelijk gaat.

[Mars Warrior]

Mich schreef op donderdag 29 juni 2023 @ 19:48:
[...]


Zou je misschien kort kunnen uitleggen hoe ik deze test zelf kan doen (welke tools), dan wil ik ook zo een grafiek maken voor mijn CPU. Misschien wel handig om een beetje op dezelfde manier te testen zodat vergelijken makkelijk gaat.

Het is nogal wat werk hoor om dat te doen. In de ene terminal de test draaien, en vanuit een andere je CPU's limiteren en/of toewijzen aan de test terminal.



Het commando doet 3x de test. Als de afwijking < 1% vond ik de test goed.

code:

sudo perf stat -r 3 -e power/energy-pkg/,power/energy-cores/,power/energy-gpu/ 7z b -md23 -mx9 -mm=LZMA 2

[alex3305]

Naar aanleiding van mijn eerdere post ben ik alvast wel aan het meten geslagen met mijn NAS. Aangezien ik die niet wil vervangen. Het is een QNAP TS-351 met de volgende specs:

CPU	Intel Celeron J1800
RAM Geheugen	Corsair ValueSelect CMSO8GX3M2C1600C11, 8GB
HDD Bay 1	Toshiba MG07ACA14TE (512e), 14TB
HDD Bay 2	Toshiba MD04ACA50D, 5TB
HDD Bay 3	Toshiba MG07ACA14TE (512e), 14TB
NVMe M.2 Slot 1	Samsung 970 EVO 500GB
NVMe M.2 Slot 2	Crucial P1 1TB
USB 3.0 Poort	WD Gaming Drive 4TB
USB 2.0 Poort 1	WD My Passport 1TB Zwart
USB 2.0 Poort 1	UGREEN USB 3.0 Harde Schijf Behuizing met 2TB schijf

Als OS gebruik ik QTS 5.0.1 en er draait Container Station (Docker) op met de volgende apps:

• AdGuard Home (+ Sync)
• Bazarr
• cAdvisor
• Immich
• Lidarr
• NZBGet
• Portainer Agent
• Prowlarr
• Radarr
• Sonarr
• Spotweb
• Watchtower
• YTDLP

Ik heb dit systeem aangesloten op een TP-Link Tapo P115 zodat ik stroommeting kon doen. Daar kwam uit dat dit systeem zo rond de 30W trok in 'idle'. Ik wist zeker dat dit beter kon.

Powertop
De eerste actie was om PowerTOP uit te voeren, maar helaas is PowerTOP niet beschikbaar voor dit systeem. Ik heb geprobeerd PowerTOP via entware te installeren, aangezien die wel beschikbaar is voor QNAP apparaten, maar dit was een verloren missie. De een na de andere foutmelding bleef maar komen en na veel aanmodderen heb ik dit opgegeven.

Daarop heb ik besloten om te kijken of ik PowerTOP via Docker aan de praat kon krijgen en dit bleek mogelijk en zelfs kinderlijk eenvoudig. Het werkt niet 100% omdat ik volgens mij nog steeds ergens een mount mis, maar auto-tune lijkt te werken.

Bash:

docker run --rm -it --privileged \
    -v /lib/modules:/lib/modules \
    -v /proc/:/proc/ \
    -v /sys/:/sys \
    debian \
    bash -c 'apt update && apt install -yq powertop && powertop --auto-tune'

Het gemiddelde verbruik lijkt hierdoor zo'n 2W-3W te zijn gedaald. Geen enorm verbetering, maar voor een gratis ingreep toch mooi meegenomen.

Harddisk spindown
Even kort door de bocht, harddisk spindown op QTS is gewoon stuk. Het werkt niet / slecht / matig en dat kost gewoon onnodig veel stroom. Wat QNAP namelijk doet zijn de instellingen en een swappartitie in een RAID1 array zetten die gemirrord wordt over alle schijven in het systeem. Dit is natuurlijk onhandig en met mijn 2 NVMe disks eigenlijk gewoon dom. Het is echter mogelijk om dit onklaar te maken.

Let wel op dat je genoeg geheugen hebt en weet waar je mee bezig bent. Alhoewel de verandering bij een boot weer worden teruggezet, kan dit tot onverwacht gedrag en eventueel gegevensverlies leiden! Kijk ook of de partitienummers kloppen zoals ik die heb.

Als eerste gaan we, zoals ik op mijn (oude) wiki heb beschreven de md9 en md13 RAID1 arrays degraden. In deze arrays staat de QTS configuratie. Wel raad ik je aan deze array minimaal eenmaal per dag te rebuilden zodat je geen gegevensverlies hebt bij disk problemen. Dit staat ook allemaal in de eerdergenoemde documentatie beschreven, maar kort door de bocht:

Bash:

mdadm /dev/md9 --fail /dev/sda1
mdadm /dev/md9 --fail /dev/sdb1
mdadm /dev/md9 --fail /dev/sdc1

mdadm /dev/md13 --fail /dev/sda4
mdadm /dev/md13 --fail /dev/sdb4
mdadm /dev/md13 --fail /dev/sdc4

Daarna doe ik een swapoff -a, waardoor de swap partitie niet meer gebruikt wordt. QNAP maakte echter zelf weer een swapfile aan. Dit vond ik echter niet zo erg, aangezien dit bestand alleen op mijn (eerste) NVMe disk staat. Dit kun je controleren met cat /proc/swaps. Eventueel zou je zelfs ook nog handmatig een swapfile aan kunnen maken en deze toewijzen. Wel kunnen we nu de swappartities stoppen, die hebben we immers niet meer nodig:

Bash:

mdadm -S /dev/md256
mdadm -S /dev/md322

Nu worden de spinnende disks niet meer gebruikt voor systeem taken. Dit heeft de grootste impact en bracht mijn verbruik met gemiddeld 10W terug.

HD-Idle
Om op bovenstaande verder te borduren, kunnen we HD-Idle toepassen. Deze applicatie spint de disks geforceerd down bij geen gebruik. Ik gebruikte hiervoor het Docker image van hotio/hdidle maar deze bestaat helaas niet meer. Ik wil binnenkort daarom zelf een repo opzetten met een nieuwe versie.

CPU Governer
Standaard staat de CPU governer op Performance, maar deze heb ik naar Powersave gezet:

Bash:

echo 'powersave' > /sys/devices/system/cpu/cpu0/cpufreq/scaling_governor
echo 'powersave' > /sys/devices/system/cpu/cpu1/cpufreq/scaling_governor

Ik kon niet precies de impact hiervan meten.

---

Ik ben nu een aantal dagen aan het meten en het gehele verbruik van mijn systeem ligt nu op het laagste op 12.5W, maar gemiddeld over de dag op 19.1W. Met 6 draaiende disks ben ik daar erg tevreden over. Vooral als ik het verbruik van anderen zie.

Als ik mijn nieuwe homelab heb gebouwd wil ik echter de Docker containers zoveel mogelijk verplaatsen naar dit nieuwe systeem. Daar is mijn huidig systeem namelijk niet capabel genoeg voor. Echter kan ik dan ook gaan testen met sleep / hibernate en Wake on LAN. Dat wordt namelijk ondersteund met het eenvoudige commando echo "mem" > /sys/power/state.

In het verleden heb ik dit namelijk ook op deze manier gedaan, toen mijn server nog 90W idle trok . Ik scripte toen namelijk sleep en Wake on LAN op basis van gebruik (bijvoorbeeld Plex, pre-backup, etc.). Maar dat is voor in de toekomst.

[jwvdst]

even een vraagje
ik heb nu een server met nu 6x m2 nvme drives waarvan 1x voor de host en 5x voor de virtuele nas.
Deze wil ik graag mee nemen naar een nieuw moederbord. Om deze allemaal mee te kunnen nemen ben ik wel afhankelijk van 4x4x4x4 bifucation support. In hoeverre ondersteunen de moederborden die hier genoemd worden 4x4x4x4 bifurcation op het pcie x16 slot?

[mrmrmr]

@jwvdst Ik weet het niet zeker, maar van wat ik her en der lees wordt x16->x4 bifurcation niet ondersteund door Alder Lake-S en Rocket-Lake-S. Wel x16->x8. Bij Kontron K3842-Q moet je daarvoor overigens wachten tot hardware versie 0x02xx. K3843-B ondersteunt het niet.

Jij hebt toch een Fujitsu D3644? Kun je zeggen wat de package C state is met jouw bifurcation kaart? Daar ben ik wel benieuwd naar.

[Mars Warrior]

LGA1200 doet vziw x8/x8 of x8/x4/x4. LGA 1700 doet slechts x8/x8. Dus Intel heeft dit niet meer.

AM5 doet dit nog wel, al is het afhankelijk van mobo en BIOS…

[GioStyle]

Ik had destijds in mijn D3644 build 1 nvme ssd in het nvme slot en 3 nvme naar pci-e adapters en het idle verbruik bleef praktisch hetzelfde, hooguit enkele tienden watt omhoog. Ik had simpele nvme naar pci-e adapters gebruikt, dus geen bifurcation kaart.

[jwvdst]

@mrmrmr klopt maar de d3644-b doet 4x4x8 bifurcation. als ik het goed zeg doet slot 3 van de bifurcationkaart het niet.
draai momenteel esxi 8.0 en heb ze in pass through staan naar de xpenology vm. Als ik er al achter kan komen weet ik niet of de uitkomst heel betrouwbaar is omdat ik ze in pass through heb.
Wat is de reden dat je het vraagt dan?

De reden dat ik mijn vraag hier stelde is dat ik in de basis een zuinig systeem wil maar qua software vooral voor stabilitei en het gemak ga.

[mrmrmr]

@jwvdst Het verbruik met ESXi ligt door het ontbreken van diverse low power ondersteuningen hoger (~4W in een kale test). Voor een betrouwbare test zou je inderdaad Linux als basis nodig hebben.

Package C states kunnen het verbruik doen oplopen, vandaar mijn vraag.

Bifurcation wordt gebruikt voor riser cards volgens de technotes van K38nn modellen, van x16 naar 2 keer x8. Er zijn wel kaarten die splitsen van x16 simuleren, maar die gebruiken daar een chip voor die nogal veel energie eist, dat levert geen zuinig systeem op.

[jwvdst]

@mrmrmr even linux installeren gaat em niet worden want dan zit het hele huishouden zonder internet(openwrt vm) en home automation(home assistant vm)
Dan krijg ik dikke ruzie met de vrouw en mn dochter dusja

Vanwege de stabiliteit en het energieverbruik ga ik ook liever voor bifurcation. Heb nog een 4x m2 nvme switch liggen maar deze is niet echt stabiel. Deze geeft nog wel eens een time out error op een nvme.

[Church of Noise]

Vandaag de HDMI update op de NUC geinstalleerd (na een zeer lang proces om Windows bootable op een USB stick te krijgen), maar helaas lost dit het niet op...

Nog eens gecheckt door consoleblank=60 in te stellen en dan te wachten tot het scherm uitging. En jawel, direct verdween alle communicatie ook (Home Assistant web interface kon niet meer laden, SSH sessie ging er uit). Systeem bleef wel draaien.

Als ik de HDMI kabel laat zitten en ik zet het scherm uit, dan blijft alles werken.
De HDMI dummy is onderweg, al had ik echt liever de root cause aangepakt. Tijdens een van de pogingen leek het heel even toch te lukken zonder scherm, en toen ging idle van ~3W naar ~2W. Op zich niet belangrijk als verschil, maar t is het principe... (vergelijk het met Colin Chapman die bij Lotus zo ver mogelijk ging in het licht maken van de auto's)

[andru123]

@Church of Noise heb je in linux log gekeken wat is er aan de hand?
Bij mij was een vergelijkbaar probleem toen ik heb undervolt, en of (scherm ging eruit) of (ik heb hdmi kabel eruit getrokken), maar dan ging de hele PC uit (emergency shutdown). Waarschijnlijk niks met jouw probleem te maken.