Het grote zuinige server topic - deel 3

[HotSpot79]

Hoe kan je tegenwoordig zien of een nvme ssd in een zuinige mode staat?? Met smartctl -a krijg je alleen de ondersteunende modes te zien met de verbruikswaardes. Maar als de ssd continue aan het schrijven is (boot drive???), dan heb je niks aan idle verbruik.

Het nvme cli commando geeft evenmin informatie helaas.

[roedi06]

mrmrmr schreef op dinsdag 14 maart 2023 @ 15:43:
@roedi06

Bedankt voor het overzicht!

Het testen van pci-e storage is moeilijk door de invloed van hardware, besturingssysteem, BIOS, package C state. De BIOS kan bijvoorbeeld niet de werkelijke ASPM capaciteiten doorgeven aan het besturingssysteem.

SATA is stabieler en bij ASPM problemen misschien zuiniger. In de Linux kernel is een lijst opgenomen van NVMe storage waarbij de zuinigste standen worden uitgeschakeld. Van Windows is dat (mij) niet bekend.

Het lijkt me handig om bronnen toe te voegen aan je bericht, dan kan iedereen de testomstandigheden zelf nazien. Als het voldoende betrouwbaar en /beoordeelbaar is kan het misschien kan het worden gepind. ASPM moet wel aan staan op het testplatform. Een enkel drive is zuinig zonder ASPM. Die heeft dan vermoedelijk een eigen power management.

SSD's kunnen doorgaans heel snel in en uit idle. Intel is daar wat trager in (hogere latency), wat goed is voor het verbruik in sommige gebruikssituaties. Anandtech testte voorheen vaak de latency van een powermodewisseling.

Ik heb hierboven de bronnen toegevoegd in de tabel.

[mrmrmr]

@HotSpot79

smartctl -a /dev/nvme0 geeft de tabel van de APST power states. Getoond worden ook de latencies. Die zijn belangrijk om in te zien hoe lang een SSD er over doet om in en uit een state te gaan. Dat getal wordt uitgedrukt in mu-seconden (μs), deel door 1000 en je hebt milliseconden.


Bron


Bron

Je kan met lspci -vv zien wat de power management capabilities zijn van een pcie device. Als er '+' staat, is een bepaalde stand actief, als er een '-' staat dan niet.

ASPM power states corresponderen doorgaans met NVMe power states.


Bron


Bron

Veel SSD's kunnen snel in en uit slaapstanden. Als je wat nauwkeuriger kijkt naar schrijfacties zie je dat het niet continu is, het lijkt voor mensen zo, maar voor de apparatuur zijn er lange wachttijden.

Daarnaast is zuinigheid net zo goed afhankelijk van de hardware als wat je ermee doet vanuit software. Monitoring is een voorbeeld van vaak onnodige schrijfacties. Dat kan worden aangepakt door minder vaak te loggen en minder data te loggen. Als je bijvoorbeeld de cumulatieve opbrengst uitleest van zonnepanelen is 1 keer per 5 minuten voldoende om daar een nette grafiek van te tonen. Vaker loggen is waarschijnlijk niet zichtbaar in een daggrafiek of niet van belang.

Aangezien de server altijd aan staat en het zeldzaam is dat de SSD meer dan een paar procent daarvan actief is, is de idle performance toch het belangrijkste. Zelfs bij camerastreams. Die komen ook niet elke milliseconde.

Sommige SSD's hebben een lager actief verbruik, dat gaat soms gepaard met hoger idle verbruik (dus hoog idle, laag actief maximum). In een sommige gevallen kan dat een alternatief zijn als er geen risico is op langer wordende wachtrijen.

[ Voor 12% gewijzigd door mrmrmr op 14-03-2023 20:57 ]

[andru123]

Ik heb nog een USB-to-network adapter getest.(die had ik liggen). Wellicht niet voor iedereen interessant, maar ga ik toch voor de reference toevoegen.
USB-C uitvoering: Dell DBQBCBC064 Zwart
Mijn B660-i moederbord heeft 3 USB-C ports: back, front (via header) en nog een USB-C 3.2x2 (20Gb).

Windows 11	i225(mb)	USB-C 20Gb	USB-C front	USB-C back
Idle + net, W	5.9	7.6	8.4	8.7
Idle, monitor aan, mouse, netwerk, W	8.8	9.6	10.3	10.7
Iperf run, Watt	20-24	21.4	20.9	22.1
Iperf speed, MB/sec	949	946	937	943

Linux na powertop autotune	i225(mb)	USB-C 20Gb	USB-C front	USB-C back
Idle + net, Watt	5.7	6.2	6.4	6.3
Idle, monitor, netwerk traffic, W	7.2	9.2	9.8	9.8
Idle, monitor, no netwerk traffic, W	6.6	7.2	7.8	8.2
Iperf run, Watt	16.3	17.1	17.9	17.3
Iperf speed, MB/sec	942	940	923	912

iperf run was met monitor aan, USB mouse. Verbruik is op system level, gemeten met Kill-A-Watt EZ op 120V
Opvallend is dat:
- Linux slechter presteert met een USB-dongle, en specifiek op 2 USB-C-poorten.
- Met een USB-dongle crasht Powertop bijna altijd als ik hem voor de 2e keer start, en dan moet ik opnieuw opstarten met de resetknop. Met ingebouwde netwerkkaart crasht powertop slechts af en toe.
- In Linux zie ik een duidelijk verschil in verbruik als er geen netwerkverkeer is (-2W). Niet in Windows, waarschijnlijk omdat Windows altijd iets naar Microsoft stuurt.
- USB-C 3.2 2x2 (20Gbit) port is het zuinigst.

Overal conclusie:
een USB netwerk dongle verbruikt 1-3W meer in idle
onder volle netwerk load - verbruikt juist 2-5W minder dan geïntegreerde i225 (in windows) en geen verschil in Linux.
@Mich : als een PCIe netwerk kaart meer verbruikt, misschien USB dongle toch een optie?

[ Voor 7% gewijzigd door andru123 op 15-03-2023 17:53 ]

[HotSpot79]

mrmrmr schreef op dinsdag 14 maart 2023 @ 20:54:
@HotSpot79

smartctl -a /dev/nvme0 geeft de tabel van de APST power states. Getoond worden ook de latencies. Die zijn belangrijk om in te zien hoe lang een SSD er over doet om in en uit een state te gaan. Dat getal wordt uitgedrukt in mu-seconden (μs), deel door 1000 en je hebt milliseconden.

[Afbeelding]
Bron

[Afbeelding]
Bron

Bedankt voor de uitgebreide uitleg.

In het smartctl output dacht ik in de "Op" kolom te lezen dat state met een - niet gesupport zou worden. Waar een + vermeld stond wel. Heb ik dat dan niet juist?

In het plaatje hierboven zou dan de erg zuinige twee modes niet mogelijk zijn.

[mrmrmr]

HotSpot79 schreef op woensdag 15 maart 2023 @ 08:41:
Bedankt voor de uitgebreide uitleg.

In het smartctl output dacht ik in de "Op" kolom te lezen dat state met een - niet gesupport zou worden. Waar een + vermeld stond wel. Heb ik dat dan niet juist?

In de source code heb ik het opgezocht, daar staat geen uitleg bij wat "op" betekent.

Misschien operational? Bij '-' is de drive uitgeschakeld, bij '+' actief?

Ik heb veel voorbeelden gezien met dezelfde + en - in de op kolom, daarom denk ik niet dat het over de ondersteuning van power states gaat.

[Mich]

andru123 schreef op woensdag 15 maart 2023 @ 06:09:
Ik heb nog een USB-to-netwerk adapter getest.(die had ik liggen). Wellicht niet voor iedereen interressant, maar ga ik toch voor de reference toevoegen.
USB-C uitvoering: Dell DBQBCBC064 Zwart
Mijn B660-i moderbord heeft 3 USB-C ports: back, front (via header) en nog een USB-C 3.2x2 (20Gb).

Windows 11	i225(mb)	USB-C 20Gb	USB-C front	USB-C back
Idle + net, W	5.9	7.6	8.4	8.7
Idle, monitor aan, mouse, netwerk, W	8.8	9.6	10.3	10.7
Iperf run, Watt	20-24	21.4	20.9	22.1
Iperf speed, MB/sec	949	946	937	943

Linux na powertop autotune	i225(mb)	USB-C 20Gb	USB-C front	USB-C back
Idle + net, Watt	5.7	6.2	6.4	6.3
Idle, monitor, netwerk traffic, W	7.2	9.2	9.8	9.8
Idle, monitor, no netwerk traffic, W	6.6	7.2	7.8	8.2
Iperf run, Watt	16.3	17.1	17.9	17.3
Iperf speed, MB/sec	942	940	923	912

iperf run was met monitor aan, USB mouse
Opvallend dat Linux schlechter performance heeft met USB dongle, en specifiek op 2 USB-C ports.
Met USB dongle, Powertop crasht bijna altijd als ik het 2de keer uitvoer, en dan moet ik met reset knoop herstarten. Met built-in netwerkcard powertop alleen af en toe crasht.
In Linux zie ik duidelijk verschil in verbruik als er is geen netwerk traffic (-2W). In Windows niet, waarschijnlik omdat Windows altijd iets naar Microsoft stuurt.
USB-C 3.2 2x2 (20Gbit) port is het zuinigst.

Overal conclusie:
een USB netwerk dongle verbruikt 1-3W meer in idle
onder volle netwerk load - verbruikt juist 2-5W minder dan geintegreerde i225 (in windows) en geen verschil in Linux.
@Mich : als een PCIe netwerk kaart meer verbruikt, mischien USB dongle toch een optie?

Ik had het zelf ook geprobeerd ja met een usb netwerk stick. Idle met kabel in de sub port haalde ik 5.7W in Linux. Het zou een alternatief kunnen zijn. Ook al vraag ik mij af of de prestaties van USB netwerkpoorten echt goed zijn. Daar zou ik mij mere in moeten verdiepen.

mrmrmr schreef op zondag 12 maart 2023 @ 22:59:
[...]


Dat zou ik niet doen, dat is een oude dual chip die flink meer verbruikt dan mogelijk met een I210/I211 kaart.

Welke I210 kaart heb je precies getest?

uitvoering: Intel Ethernet Server Adapter I210-T1

deze kaart. Een vrij nieuwe kaart, wat niets over de intel chip zelf zeg natuurlijk.

[andru123]

Mich schreef op maandag 13 maart 2023 @ 22:50:
Ik had nagevraagd wat het nieuwe mATX board voor 13th gen Intel CPU van Kontron moet gaan kosten

https://www.kontron.com/en/products/k3833-q-mitx/p176291

Per stuk 304 euro en per 10 zakt de prijs naar 248. Wat opzich een mooie prijs is. Iemand zij een inkoop actie op te zetten

Als verbruik is zo laag als bij andere Kontron’s, dan het is een leuke bord. MiniITX met 2 netwerk cards, een slot voor WiFi card, maar allen een M.2 slot. Een extra M.2 op de achterkont zou het leuker maken voor consument.
In plaats van 4 DisplayPorts, zou ik liever een HDMI zien (verbruikt minder). En COM port? Het is 2023 . Maar als thuisserver/router is een leuke alternatief. Ik wil graag toch eerst een test zien.

[TerrorToetje]

andru123 schreef op woensdag 15 maart 2023 @ 14:31:
[...]

Als verbruik is zo laag als bij andere Kontron’s, dan het is een leuke bord. MiniITX met 2 netwerk cards, een slot voor WiFi card, maar allen een M.2 slot. Een extra M.2 op de achterkont zou het leuker maken voor consument.
In plaats van 4 DisplayPorts, zou ik liever een HDMI zien (verbruikt minder). En COM port? Het is 2023 . Maar als thuisserver/router is een leuke alternatief. Ik wil graag toch eerst een test zien.

M2's toevoegen op die Gen5 PCI slot moet geen probleem zijn, zelfs meerdere Bifurcation Support is aanwezig.

[andru123]

Mich schreef op woensdag 15 maart 2023 @ 11:30:
uitvoering: Intel Ethernet Server Adapter I210-T1
deze kaart. Een vrij nieuwe kaart, wat niets over de intel chip zelf zeg natuurlijk.

Op Intel website staat:
- TDP: 1W
- System Interface Type: PCIe v2.1

Ik dacht dat L1 substate support was geïntroduceerd in PCI 3.0?

[Mich]

andru123 schreef op woensdag 15 maart 2023 @ 18:43:
[...]

Op Intel website staat:
- TDP: 1W
- System Interface Type: PCIe v2.1

Ik dacht dat L1 substate support was geïntroduceerd in PCI 3.0?

Tja, vooral de enkel en dubbel ports hebben niet zoveel bandbreedte nodig dus die zitten in een lagere PCI klasse. Ik kwam nu dit tegen op de intel site:



Er staat bij zowel C6+C8 en C10 bij dat er geen kaart in de PEG port mag zitten. Maar op een ITX bord heb je maar 1 pcie port en dat is volgens mij altijd de PEG port. (Pci Express Grapgic port).

Dat zou wel kunnen verklaren waarom ik nooit verder kom dan C3.

[Mich]

andru123 schreef op woensdag 15 maart 2023 @ 14:31:
[...]

Als verbruik is zo laag als bij andere Kontron’s, dan het is een leuke bord. MiniITX met 2 netwerk cards, een slot voor WiFi card, maar allen een M.2 slot. Een extra M.2 op de achterkont zou het leuker maken voor consument.
In plaats van 4 DisplayPorts, zou ik liever een HDMI zien (verbruikt minder). En COM port? Het is 2023 . Maar als thuisserver/router is een leuke alternatief. Ik wil graag toch eerst een test zien.

Het is een industrieel bord. Daar wordt nog (veel ) gewerkt met com port verbindingen. Ze zijn vaak nog je laste redding om via teraterm ofzo een firmware te herstellen of iets te debuggen.

[latka]

Mich schreef op donderdag 16 maart 2023 @ 11:35:
[...]


Het is een industrieel bord. Daar wordt nog (veel ) gewerkt met com port verbindingen. Ze zijn vaak nog je laste redding om via teraterm ofzo een firmware te herstellen of iets te debuggen.

Of managed switches voor OOB management

[mrmrmr]

Industrieel mag je letterlijk nemen: data uitwisseling met machines.

[andru123]

Mich schreef op woensdag 15 maart 2023 @ 19:52:
Er staat bij zowel C6+C8 en C10 bij dat er geen kaart in de PEG port mag zitten. Maar op een ITX bord heb je maar 1 pcie port en dat is volgens mij altijd de PEG port. (Pci Express Grapgic port).
Dat zou wel kunnen verklaren waarom ik nooit verder kom dan C3.

Hoe dan @mrmrmr en vele anderen een insteek netwerk kaart gebruiken, en toch lage verbruik halen?
Is dat alleen voor 13e intel Raptor Lake chipsets?

[mrmrmr]

andru123 schreef op donderdag 16 maart 2023 @ 19:17:
[...]
Hoe dan @mrmrmr en vele anderen een insteek netwerk kaart gebruiken, en toch lage verbruik halen?
Is dat alleen voor 13e intel Raptor Lake chipsets?

De I211 insteekkaart die ik heb zit in een Fujitsu D3643-H mATX bord, laatste (onderste) slot (geen graphics), C8 package.

De kast heeft break-away plaatjes, die zijn niet terug te plaatsen. Daarom kan ik niet een ander slot testen.

[ Voor 15% gewijzigd door mrmrmr op 18-03-2023 11:43 ]

[andru123]

mrmrmr schreef op donderdag 16 maart 2023 @ 19:23:
De I211 insteekkaart die ik heb zit in een Fujitsu D3643-B mATX bord, laatste slot, C8 package.

@Mich ik heb exact zelfde statement “NDA- no physical device is attached on PEG port” voor Intel 7de generatie gevonden: https://images-eu.ssl-ima.../images/I/A1L1jU3HvIL.pdf
En toch haalt mrmrmr c8 met zijn kaart. Misschien het is anders per mb/chipset.
Of er is verschil tussen laatste PCI slot en PEG slot?

[ Voor 5% gewijzigd door andru123 op 16-03-2023 19:42 ]

[Mars Warrior]

andru123 schreef op donderdag 16 maart 2023 @ 19:40:
[...]

@Mich ik heb exact zelfde statement “NDA- no physical device is attached on PEG port” voor Intel 7de generatie gevonden: https://images-eu.ssl-ima.../images/I/A1L1jU3HvIL.pdf
En toch haalt mrmrmr c8 met zijn kaart. Misschien het is anders per mb/chipset.
Of er is verschil tussen laatste PCI slot en PEG slot?

Het laatste slot zal geen PEG slot zijn, maar een x1 slot(je), dus geen belemmering voor PKG c8/c10.

[Mich]

andru123 schreef op donderdag 16 maart 2023 @ 19:40:
[...]

@Mich ik heb exact zelfde statement “NDA- no physical device is attached on PEG port” voor Intel 7de generatie gevonden: https://images-eu.ssl-ima.../images/I/A1L1jU3HvIL.pdf
En toch haalt mrmrmr c8 met zijn kaart. Misschien het is anders per mb/chipset.
Of er is verschil tussen laatste PCI slot en PEG slot?

PCI-express voor graphics
Bij een PEG-slot is PEG een afkorting voor PCI Express voor Graphics, maar wat houdt dat in?

PCI Express for Graphics (PEG) specificeert een PCIe-slot voor grafische kaarten met maximaal 16 PCIe-lanes. Een PEG-slot kan maximaal 75 watt leveren, terwijl andere PCIe-slots hooguit 25 watt kunnen leveren. Niet elk PEG-slot is met de maximale 16 PCIe-lanes aangesloten.

[andru123]

als mrmrmr zijn kaart naar eerste slot verplaatst, zal het verbruik stijgen, dat weet je zeker?
Maar.. dat betekent je nooit een zuinige server met mini-ITX kan maken als er iets in PCI slot zit?
Dus voor een router moet je een bord met 2 geïntegreerde netwerk ports?

[TerrorToetje]

Ik heb een B660 DS3H AX DDR4 (ATX) Moederbordje, en wilde proberen hier ook zo zuinig mogelijk iets van te maken, al dan niet door het formaat niet het meest optimale wil ik wel eens kijken wat er mee te doen valt in linux.

Ik heb nog geen cpu uitgezocht, maar het viel me op dat T of non T varianten van Intel het meest zuinig zijn?

https://docs.google.com/s...odvwZpQZKv_NCI/edit#gid=0

Ik zat zelf te denken aan een "Intel Core i5 13400T" wat denken jullie?

Groetjes,

[ Voor 7% gewijzigd door TerrorToetje op 16-03-2023 19:57 ]

[andru123]

Mich schreef op maandag 6 maart 2023 @ 20:35:
@andru123 heb jij de mogelijkheid een willekeurige pci kaart erin te steken om te zien wat dat doet met je verbruik?

Ik heb net geprobeerd mit mijn M.2 PCIe adapter

En, inderdaad, haal ik C8 niet meer. Idle verbruik van 5.7W naar 7.3W gestegen.

code:

PowerTOP 2.14     Overview   Idle stats   Frequency stats   Device stats   Tunables   WakeUp                            


           Pkg(HW)  |            Core(HW) |            CPU(OS) 0   CPU(OS) 1
                    |                     | C0 active   1.0%        0.7%
                    |                     | POLL        0.0%    0.0 ms  0.0%    0.0 ms
                    |                     | C1_ACPI     0.7%    0.4 ms  4.4%    0.8 ms
C2 (pc2)   23.5%    |                     | C2_ACPI    10.9%    1.6 ms  7.0%    1.3 ms
C3 (pc3)   40.7%    | C3 (cc3)    0.0%    | C3_ACPI    84.7%   10.1 ms 86.0%    9.0 ms
C6 (pc6)    0.0%    | C6 (cc6)   10.5%    |
C7 (pc7)    0.0%    | C7 (cc7)   72.7%    |
C8 (pc8)    0.0%    |                     |
C9 (pc9)    0.0%    |                     |
C10 (pc10)  0.0%    |                     |

[andru123]

@TerrorToetje Je hoeft niet per se voor een T versie van processor gaan.
Als je wilt T versie is ook prima, staat ook in de topic start: Processors
Mich haalt 4.7W idle met i5-13500 en B660-i, bladeer eens door gepinde posts.

[ Voor 8% gewijzigd door andru123 op 16-03-2023 20:55 ]

[mrmrmr]

@TerrorToetje

Is het een Gigabyte B660M DS3H AX DDR4?

Het gaat bij de meeste servers vooral om het verbruik in idle. Dat hangt vooral af van de hoogte van de idlefrequentie. De T versies gaan vooral om het beperken van de bovenkant (de TDP), maar dat kon je toch al doen met moderne processoren, via de BIOS (PL1/PL2). Dus daar hoef je geen T variant voor te kiezen. Wel als de werkfrequentie lager moet liggen.

Je kan gerust een normale processor kiezen. Een 12100 is al snel genoeg voor veel taken.

12100: 3.3 GHz base | base 60W | turbo 89W
12100T: 2.2 GHz base | base 35W | turbo 69W

Zoals je ziet krijg je gewoon een tragere processor als je een 12100T kiest.

Turbo kost onevenredig meer energie dan de base frequentie, het is raadzaam om turbo uit te schakelen. Als de frequentie hoog wordt, wordt veel energie omgezet in warmte, terwijl de verwerkingssnelheid sterk achterblijft. De energieefficientie bij turbo is dus erg slecht.

Als je dat in een grafiek zet, zie dat het energieverbruik kwadratisch oploopt (lijn gaat steeds stijler omhoog), terwijl de snelheidswinst nauwelijks toeneemt. Er ligt ergens een optimum en dat is meestal bij een tamelijk laag energieverbruik. Het is zuinig om de PL1/PL2 lager te zetten dan het verbruik in de intel spec sheet. De snelheid en energieverbruik zijn in balans bij dit optimum. De energieefficientie is op zijn hoogst.

Overigens, hardware is maar een deel van de oplossing voor laag verbruik. Let ook op BIOS, operating system, applicaties, configuratie en inrichting.

[MarcelG]

Mijn (relatief) zuinig homelab/servertje is sinds deze week ineens een kleine 15% meer gaan gebruiken; van idle 9,5 Watt naar idle 11 Watt.
Betreft een NUC, NUC8i5BEH,
Details: Windows Server 2019 Standard, 2 SSDs, Hyper-V, (2 constant draaiende Linux VMs (pihole + unifi controller, HASS), SqueezeCenter, etc.

Er zijn 3 dingen gebeurd:
- Windows update (2023-03 Cumulative Update for Windows Server 2019 and Windows 10 Version 1809 (KB5023702))
- Update van beide Linux VM's
- Samsung Magician verwijderd

Ik merkte initieel dat ie op idle ruim 20 Watt deed...... oO
De VMs stonden heerlijk uit hun neus te vreten, zowel CPU als IO deden vrij weinig. (1-5% CPU voor HASS, 1% voor Pihole) en IO ook vrij weinig. Bleek dat de CPU op volle snelheid gehouden werd, en het Power Plan stond op Performance.
Minimum CPU 5%, max 100%. Aangepast naar min 2%, max 95% -> drop naar 14W.
Vervolgens naar balanced gezet; geen verschil.
Vervolgens naar max 92% gezet -> drop naar 11W.

Ik verdenk KB5023702 als culprit, maar ik krijg m'n vinger er niet achter.

Iemand anders hier soortgelijke ervaringen sinds kort ?

[roedi06]

andru123 schreef op donderdag 16 maart 2023 @ 20:35:
[...]

Ik heb net geprobeerd mit mijn M.2 PCIe adapter
[Afbeelding]
En, inderdaad, haal ik C8 niet meer. Idle verbruik van 5.7W naar 7.3W gestegen.

code:

PowerTOP 2.14     Overview   Idle stats   Frequency stats   Device stats   Tunables   WakeUp                            


           Pkg(HW)  |            Core(HW) |            CPU(OS) 0   CPU(OS) 1
                    |                     | C0 active   1.0%        0.7%
                    |                     | POLL        0.0%    0.0 ms  0.0%    0.0 ms
                    |                     | C1_ACPI     0.7%    0.4 ms  4.4%    0.8 ms
C2 (pc2)   23.5%    |                     | C2_ACPI    10.9%    1.6 ms  7.0%    1.3 ms
C3 (pc3)   40.7%    | C3 (cc3)    0.0%    | C3_ACPI    84.7%   10.1 ms 86.0%    9.0 ms
C6 (pc6)    0.0%    | C6 (cc6)   10.5%    |
C7 (pc7)    0.0%    | C7 (cc7)   72.7%    |
C8 (pc8)    0.0%    |                     |
C9 (pc9)    0.0%    |                     |
C10 (pc10)  0.0%    |                     |

Oei... Die vraag wilde ik ook gaan stellen hier. Zo'n pcie kaartje voor een extra m.2 drive kost je dus al 1.6W extra? Domme vraag misschien: Is dat inclusief de ssd erin geprikt?

[TerrorToetje]

mrmrmr schreef op donderdag 16 maart 2023 @ 21:04:
@TerrorToetje

Is het een Gigabyte B660M DS3H AX DDR4?

Het gaat bij de meeste servers vooral om het verbruik in idle. Dat hangt vooral af van de hoogte van de idlefrequentie. De T versies gaan vooral om het beperken van de bovenkant (de TDP), maar dat kon je toch al doen met moderne processoren, via de BIOS (PL1/PL2). Dus daar hoef je geen T variant voor te kiezen. Wel als de werkfrequentie lager moet liggen.

Je kan gerust een normale processor kiezen. Een 12100 is al snel genoeg voor veel taken.

12100: 3.3 GHz base | base 60W | turbo 89W
12100T: 2.2 GHz base | base 35W | turbo 69W

Zoals je ziet krijg je gewoon een tragere processor als je een 12100T kiest.

Turbo kost onevenredig meer energie dan de base frequentie, het is raadzaam om turbo uit te schakelen. Als de frequentie hoog wordt, wordt veel energie omgezet in warmte, terwijl de verwerkingssnelheid sterk achterblijft. De energieefficientie bij turbo is dus erg slecht.

Als je dat in een grafiek zet, zie dat het energieverbruik kwadratisch oploopt (lijn gaat steeds stijler omhoog), terwijl de snelheidswinst nauwelijks toeneemt. Er ligt ergens een optimum en dat is meestal bij een tamelijk laag energieverbruik. Het is zuinig om de PL1/PL2 lager te zetten dan het verbruik in de intel spec sheet. De snelheid en energieverbruik zijn in balans bij dit optimum. De energieefficientie is op zijn hoogst.

Overigens, hardware is maar een deel van de oplossing voor laag verbruik. Let ook op BIOS, operating system, applicaties, configuratie en inrichting.

Bedankt voor alle informatie, het gaat hier om de uitvoering: Gigabyte B660 DS3H AX DDR4 de ATX variant, budget bordje niks spannends aan maar dat is ook prima.

Ik had al een vermoeden dat een T of normale variant prima ging zoals de google sheets aangeven voor de oudere generatie maar wilde wel zeker van de zaak zijn. Op dit moment heb ik ook een d3221-a12 gs2, die zit idle op 7w met ArchLinux en powertop/bios instellingen.

[mrmrmr]

TerrorToetje schreef op donderdag 16 maart 2023 @ 23:31:
het gaat hier om de uitvoering: Gigabyte B660 DS3H AX DDR4 de ATX variant, budget bordje niks spannends aan maar dat is ook prima.

Die heeft 2x Realtek 1Gbps aan boord. Intel is misschien beter. Hoeveel een bord kost heeft niet een rechtstreekse relatie met het verbruik. Een veel te duur bord met een lading aan features kan veel meer verbruiken dan een instapbord. Maar er zijn wel details waarop gelet kan worden, zoals pcie devices en zuinige VRM's.

Ik had al een vermoeden dat een T of normale variant prima ging zoals de google sheets aangeven voor de oudere generatie maar wilde wel zeker van de zaak zijn. Op dit moment heb ik ook een d3221-a12 gs2, die zit idle op 7w met ArchLinux en powertop/bios instellingen.

Voor een Haswell bord is dat uitstekend. Dit is een generatie voor de Fujitsu D3417-B, het bord dat vanwege zuinigheid bekend werd.

[Jazco2nd]

Kijk nou wat interessant van Kontron!
Eindelijk ECC geheugen op een MiniITX bord! Want AMD ondersteund dat standaard wel. En.. AMD ipv Intel!

https://www.cnx-software....000-mini-itx-motherboard/

Alleen slechts 2 SATA aansluitingen.
Misschien dat je in de M.2 Key B een adapter kan stoppen?

Ik heb wel minimaal 4, liefst 5 SATA drives nodig.
Die 5e is voor mijn downloads en opslag series/films.
2 voor mijn filecloud en 2 voor backups.

Als ik ontdek hoe dat kan met dit bord en als het minimaal zo zuinig is als een Core i3-9100 met D3644-B bordje ben ik over. Zeker als ik mijn huidige 2x 16GB ECC kan hergebruiken.

[andru123]

roedi06 schreef op donderdag 16 maart 2023 @ 22:36:
Oei... Die vraag wilde ik ook gaan stellen hier. Zo'n pcie kaartje voor een extra m.2 drive kost je dus al 1.6W extra? Domme vraag misschien: Is dat inclusief de ssd erin geprikt?

Nee, kaartje zelf kost helemaal niks - het is probleem met Intel beperking op de eerste PCIe slot - PEG slot, zoals Mich in "Het grote zuinige server topic - deel 3" ontdekte.
Voor elk ander PCI slot moet het prima werken, als mrmrmr in "Het grote zuinige server topic - deel 3" bevestigt.
Ja dat met SSD erin. Zonder SSD kost het helemaal niks extra, ik had de kaart in de slot achtergelaten.

[ Voor 7% gewijzigd door andru123 op 17-03-2023 00:38 ]

[andru123]

Ik heb ontdekt dat op Asus B660-i moederbord WiFi kaart is verwijderbaar.
Ik heb zonder WiFi kaart getest, scheelt ~0.5W
Linux idle (alleen netwerk):
Met wifi kaart (geen active Wifi) : 5,7-5,9W
Zonder wifi kaart : 5,2-5,5W
Windows idle (alleen netwerk):
Met wifi kaart (geen active Wifi) : 5,9-6,2W
Zonder wifi kaart : 5,5-5,7W

@Mich om kaart eruithalen, moet je de heatsink verwijderen (4 schroeven onderkant). Ik moest ook de CPU cooler weghalen, zat op de weg. En ook de “shield”.

Heir zie je de WiFi module nog erin. Ook zie ik dat ik i225-v rev.B3 chip heb, de “goede” revision.

[ Voor 3% gewijzigd door andru123 op 17-03-2023 02:57 ]

[mrmrmr]

Powertop 2.15 11-03-2023 heeft een parameter die recent is toegevoegd: --auto-tune-dump. Het idee is dat je nog geen powertop --auto-tune hebt uitgevoerd en je vervolgens met --auto-tune-dump een output krijgt van alle opdrachten die de optimalisatie kunnen uitvoeren.

# ./powertop --auto-tune-dump
modprobe cpufreq_stats failed
Loaded 0 prior measurements
RAPL device for cpu 0
RAPL Using PowerCap Sysfs : Domain Mask f
RAPL device for cpu 0
RAPL Using PowerCap Sysfs : Domain Mask f
Devfreq not enabled
glob returned GLOB_ABORTED

### auto-tune-dump commands BEGIN

## NMI watchdog should be turned off
# echo '0' > '/proc/sys/kernel/nmi_watchdog';

### VM writeback timeout
# echo '1500' > '/proc/sys/vm/dirty_writeback_centisecs';

### Enable SATA link power management for host5
# echo 'med_power_with_dipm' > '/sys/class/scsi_host/host5/link_power_management_policy';

(..)

### auto-tune-dump commands END

[Mich]

andru123 schreef op donderdag 16 maart 2023 @ 20:35:
[...]

Ik heb net geprobeerd mit mijn M.2 PCIe adapter
[Afbeelding]
En, inderdaad, haal ik C8 niet meer. Idle verbruik van 5.7W naar 7.3W gestegen.

code:

PowerTOP 2.14     Overview   Idle stats   Frequency stats   Device stats   Tunables   WakeUp                            


           Pkg(HW)  |            Core(HW) |            CPU(OS) 0   CPU(OS) 1
                    |                     | C0 active   1.0%        0.7%
                    |                     | POLL        0.0%    0.0 ms  0.0%    0.0 ms
                    |                     | C1_ACPI     0.7%    0.4 ms  4.4%    0.8 ms
C2 (pc2)   23.5%    |                     | C2_ACPI    10.9%    1.6 ms  7.0%    1.3 ms
C3 (pc3)   40.7%    | C3 (cc3)    0.0%    | C3_ACPI    84.7%   10.1 ms 86.0%    9.0 ms
C6 (pc6)    0.0%    | C6 (cc6)   10.5%    |
C7 (pc7)    0.0%    | C7 (cc7)   72.7%    |
C8 (pc8)    0.0%    |                     |
C9 (pc9)    0.0%    |                     |
C10 (pc10)  0.0%    |                     |

Thanks voor het nakijken. Wel jammer dat dit het idee van mijn zuinige server (opnsense router) onderuit haalt. Althans, met een mITX bord. Tenzij ik over ga naar USB ethernet poorten maar daar ligt niet mijn voorkeur.

Alternatieven? Toch voor een Kontron K3843 gaan. Die heeft meerdere pcix porten. Ik moet dan wel mijn huidige moederboord weer zien kwijt te raken en dat gaat wel geld kosten. Of ik moet het maar zien als leergeld want ik heb veel geleerd afgelopen maanden, vooral op Linux vlak.

Aan de Kontron K3843 eigenaren een vraag .Is er iemand die al eens een pci kaartje geplaatst heeft om te zien wat dat met de pkg state / idle verbruik doet?

[andru123]

@Mich ik ben nog niet overtuigd dat miniITX is no go. Ja het is niet ideaal, maar tot nu toe zie ik alleen maar extra +1,6W. Niet ideaal, maar nog binnen de margin. Wat was jouw verwachting met een extra card?
Ik ben benieuwd wat een zuinige miniITX met 2 onboard netwerk ports gaat verbruiken. De geteste Asrock Z-borden waren niet bepaald zuinig, helaas, maar er zijn wel andere alternativen. Dus ik geef nog niet op.

[ Voor 5% gewijzigd door andru123 op 17-03-2023 19:08 ]

[campr112]

Lenovo p340 tiny. 64Gbyte geheugen, i7-10700 (65W TDP, 8 core) 256Gbyte NVMe SSD, 250W voeding, extra netwerk kaart (PCIe socket a+e) geïnstalleerd. Standaard installatie van Ubuntu 20.04 Server (kaal).
powertop --auto-tune gedraaid.
4W idle-gebruik. Max wat ik tot nu toe gezien heb: 65W Ik heb gisteren een Lenovo voeding gevonden van 135W, dus die ga ik ook nog even proberen. Mogelijk dat ie nog iets lager uitkomt. Ik heb ook de SATA poort en de audio controller in het BIOS 'uitgezet'.

[RobertMe]

campr112 schreef op zaterdag 18 maart 2023 @ 09:00:
Ik heb ook de SATA poort en de audio controller in het BIOS 'uitgezet'.

Het kan beter zijn om hardware in het BIOS altijd aan te laten staan. Als je het uit zet ziet het OS de hardware niet en is er ook helemaal geen aansturing van. Laat je het aan staan ziet het OS deze wel en kan het OS / drivers de hardware ook "uit" zetten wat efficiënter kan zijn dan "helemaal niet aansturen".

[andru123]

@Mich heb je naar mini-pci msata ethernet card gekeken?
categorie: Netwerkadapters
Zoiets bijv. of duurdere Startech. Zelfs met 2 poorten.
Meeste versies blijken met Realtek chip, dus powertop gaat vreemd doen, maar toch. Intel-chipset versies zijn er ook.
Update/correctie:
Asus B660 bord heeft M.2 slot key A - niet een mini PCIe - voor de WiFi card. Ik heb verkeerde besteld.

[ Voor 88% gewijzigd door andru123 op 08-04-2023 16:24 ]

[mrmrmr]

Voor Debian gebruikers:

De huidige versie is Debian 11 Bullseye.

Debian 12 Bookworm verschijnt waarschijnlijk 29 april medio 2023. Die heeft een nieuwere kernel die nodig is voor nieuwere hardware. De kernel zal versie 6.1 zijn.

Helaas is er nog geen powertop 2.15, de versie is nog 2.14. Je kan v2.15 wel zelf compileren op Debian Bookworm, dat kon niet op Debian 11 Bullseye, dat is de huidige versie.

De huidige powertop 2.15 master draait standaard alleen op Debian 12 of hoger. Het zou wel mogelijk moeten zijn op Debian 11 om een backport (bpo) versie van tracefs te installeren zodat de laatste powertop kan draaien (ongetest).

[ Voor 18% gewijzigd door mrmrmr op 19-03-2023 12:35 ]

[andru123]

Er bestaan al M.2 ethernet adapters met laatste intel i225 chip, die goedkoper zijn dan mini pci (msata) card met veel oudere i210.
Als je niet van plan bent om de 2de m.2 slot gebruiken.

[Jazco2nd]

mrmrmr schreef op zaterdag 18 maart 2023 @ 19:51:
Voor Debian gebruikers:

De huidige versie is Debian 11 Bullseye.

Debian 12 Bookworm verschijnt officieel op 29 april. Die heeft een nieuwere kernel die nodig is voor nieuwere hardware. De kernel zal versie 6.1 zijn.

Helaas is er nog geen powertop 2.15, de versie is nog 2.14. Je kan v2.15 wel zelf compileren op Debian Bookworm, dat kon niet op Debian 11 Bullseye, dat is de huidige versie.

De huidige powertop 2.15 master draait standaard alleen op Debian 12 of hoger. Het zou wel mogelijk moeten zijn op Debian 11 om een backport (bpo) versie van tracefs te installeren zodat de laatste powertop kan draaien (ongetest).

Dat is dan wel weer het voordeel van een rolling release als OpenSuse Tumbleweed of Manjaro.
Ik draai Manjaro probleemloos en heb gewoon versie 2.15.. hoef daar niks voor te compilen.
Het is eigenlijk niet heel anders dan een mobiele telefoon. Firmware, kernel, OS updates en apps worden gewoon door 1 service maandelijks up to date gehouden.

[RobertMe]

Jazco2nd schreef op zondag 19 maart 2023 @ 10:12:
[...]

Dat is dan wel weer het voordeel van een rolling release als OpenSuse Tumbleweed of Manjaro.
Ik draai Manjaro probleemloos en heb gewoon versie 2.15.. hoef daar niks voor te compilen.
Het is eigenlijk niet heel anders dan een mobiele telefoon. Firmware, kernel, OS updates en apps worden gewoon door 1 service maandelijks up to date gehouden.

Als er iets is dat niet up to date wordt gehouden dan zijn het wel telefoons

En een rolling release model brengt natuurlijk ook risicos met zich mee. Als je bv (te) lang niet update kan dat problemen geven bij het updaten. Daarnaast loop je natuurlijk een groter risico op problemen doordat je altijd de nieuwste versie draait die nog niet grootschalig in gebruik is en waar dus nog issues in kunnen zitten.

* RobertMe draait op desktop al meer dan 10 jaar Arch en dus rolling release. Maar op server achtige toepassingen alsnog Debian

@mrmrmr heb je overigens een bron voor de Bookworm release date? Ik kan daar concreet niks over vinden. Draai hem zelf overigens ook, i.v.m. systeempje met N5105 die op de antieke 5.1 kernel(?) van Bullseye totaal niet lekker werkte of zeker noet zuinig was. (Werkte wel, want Debian met ZFS on root geïnstalleerd vanaf Bullseye live image ).

[Jazco2nd]

Als je bv (te) lang niet update kan dat problemen geven bij het updaten.

Dit argument lees ik vaker en slaat geen hout. Met een rolling release ga je niet 2x per jaar updaten.
Je gaat toch ook niet een server installeren en vervolgens alles in Google Drive opslaan

doordat je altijd de nieuwste versie draait die nog niet grootschalig in gebruik is en waar dus nog issues in kunnen zitten.

Dat is bleeding edge en natuurlijk niet waar ik op doel. Met een rolling release hoeft dit helemaal niet.

In mijn geval worden updates maandelijks uitgevoerd. Al bijna 2 jaar probleemloos bij mij en 3 anderen. De 2 jaar daarvoor draaide ik Ubuntu en had ik juist gedoe na updates. Ik zou echt niet meer anders willen.

Daarnaast noem ik Tumbleweed en Manjaro omdat beide by default een heel goed volledig automatisch geconfigureerd en autonoom werkend rollback systeem hebben. Dus een reboot, F4 en je zit op de snapshot van voor de update.
Mijn Docker services zitten in een apart snapshot dus elke voortgang daarin wordt niet geraakt hierdoor.

[thof]

Zit te kijken naar een vervangende adapter voor de CWWK N5105 + 4x 2.5GBe + 64GB + 2x NVME, om de standaard Chinese adapter mee te vervangen. Hier in het topic lijkt Leicke een populair merk te zijn, dus daar naar gaan kijken. Uiteraard zijn er verschillende wattages beschikbaar, bijvoorbeeld de NT03011 voor 48W en de NT03012 voor 60W. Ik neig naar die eerste, maar zie daar hier op het forum (niet alleen dit topic) deze niet voorbij komen. Vanwaar vaker de keuze voor het 60W model voor mini-pc's?

Specs:
http://www.leicke.eu/en/products/NT03011
http://www.leicke.eu/en/products/NT03012

[ Voor 8% gewijzigd door thof op 19-03-2023 12:32 ]

[mrmrmr]

RobertMe schreef op zondag 19 maart 2023 @ 10:27:
@mrmrmr heb je overigens een bron voor de Bookworm release date? Ik kan daar concreet niks over vinden.

Dat komt omdat ik zand ik mijn ogen had toen ik het las in een Debian release mailing list. Het gaat om een punt release die op 29 april komt: versie 11.7. Bookworm (v12) komt later. Sorry voor de verwarring!

[mrmrmr]

@thof

Leicke maakt goedkope adapters, maar de prestaties van de 120W versie waren niet zo goed als voorheen op het recentere ontwerp. Ik heb een aantal adapters getest, inclusief de nieuwe en de oude Leicke 120W 12V.

Ik heb geen informatie over de zuinigheid van andere Leicke modellen. Zo te zien op de foto is het 60W model nog het oude ontwerp. De prijs is uitstekend.

FSP is moeilijk verkrijgbaar voor een goede prijs. Er is een FSP shop in Duitsland, maar dan heb je wel transportkosten. Deze FSP084-DHAN3 adapter vond ik in een Nederlandse webshop: FSP084-DHAN3

Ik heb de indruk dat de markt wordt overspoeld met Chinese noname producten, vooral bij vermogens onder 150W. Prijzen van merken liggen hoog en voorraden bij distributeurs zijn laag.

Let op de stekker die je nodig hebt. De meeste adapters hebben 5.5/2.5mm barrel connectoren. Eventuele verloopstekkers moeten stevig zitten en goed contact maken.

[GoBieN-Be]

Ik heb een Leicke 60W (van jouw link) via Amazon besteld.
Benieuw wat het verschil zal geven met de 'Chinese' wellicht fake Lite-ON PSU.

[gastje01]

Ik ben ook benieuwd of dat nog verschil maat met de Chinese adapter die ik bij mijn Odroid H3 heb besteld. Ik draai echter niet volledig idle. Met de load die ik nu heb schommel ik tussen de 10-16W.

[andru123]

campr112 schreef op zaterdag 18 maart 2023 @ 09:00:
extra netwerk kaart (PCIe socket a+e) geïnstalleerd..
4W idle-gebruik

Welke Netwerk kaart in welke slot? Een foto zou leuk zijn.. Is er een PCIe PEG slot met videocard erin?

[HotSpot79]

Ik heb nog eens zitten stoeien met mijn homeserver en powertop. Wat mij opviel was dat ik een relatief hoog events/s had vegeleken met compleet idle server (odroid h3+ kale debian install).

Summary: 2084.6 wakeups/second, 0.0 GPU ops/seconds, 0.0 VFS ops/sec and 9.7% CPU use

Power est. Usage Events/s Category Description
1.52 W 4.5 ms/s 383.3 Timer tick_sched_timer
1.12 W 4.5 ms/s 281.2 Timer hrtimer_wakeup
502 mW 6.2 ms/s 124.6 Interrupt [3] net_rx(softirq)

Na wat zoeken op internet is mijn vermoeden dat de server veel context switches maakt. Vraag is alleen waarom. Hoe kan ik dit snel analyseren? Iemand tips?

[project.bobby]

gastje01 schreef op maandag 20 maart 2023 @ 19:25:
Ik ben ook benieuwd of dat nog verschil maat met de Chinese adapter die ik bij mijn Odroid H3 heb besteld. Ik draai echter niet volledig idle. Met de load die ik nu heb schommel ik tussen de 10-16W.

Odroid H3+ met kale proxmox installatie met deze adapter, een WD Red 1TB nvme SSD & een MX500 1TB SSD aangesloten pakt bij mij in idle 8 watt met powerfactor 44. Unraid precies hetzelfde of zelfs iets daarboven.

Na powertop --auto-tune schommelt het tussen 6.3 en 7.3.

@GioStyle had geloof ik wel goede resultaten, volgens mij met een 2A adapter. Ik denk dat ik een 2A adapter ga kopen en het package ga beperken om hier niet boven te komen - tijdens installatie van proxmox zat ik op de piek rond de 35w.

Leuk ding is het wel - maar toch niet zo indrukwekkend als de Mele quieter met J4125 die ernaast draait. Die gebruikte out-of-the-box direct maar 1.3w aan de muur.

[gastje01]

project.bobby schreef op maandag 20 maart 2023 @ 21:39:
[...]


Odroid H3+ met kale proxmox installatie met deze adapter, een WD Red 1TB nvme SSD & een MX500 1TB SSD aangesloten pakt bij mij in idle 8 watt met powerfactor 44. Unraid precies hetzelfde of zelfs iets daarboven.

Na powertop --auto-tune schommelt het tussen 6.3 en 7.3.

@GioStyle had geloof ik wel goede resultaten, volgens mij met een 2A adapter. Ik denk dat ik een 2A adapter ga kopen en het package ga beperken om hier niet boven te komen - tijdens installatie van proxmox zat ik op de piek rond de 35w.

Leuk ding is het wel - maar toch niet zo indrukwekkend als de Mele quieter met J4125 die ernaast draait. Die gebruikte out-of-the-box direct maar 1.3w aan de muur.

Dat is niet het hele verhaal, ik heb er een 3.5 inch schijf in zitten die al (idle) de helft van het verbruik voor z’n rekening neemt. Ook hangt er een Coral USB aan, ZigBee USB adapter, 2x 8 GB ram en een 1 TB SSD. Gemiddeld zit ik aan zo’n 12-18% CPU gebruik, eigenlijk constant. Verbruik lijkt me vrij netjes. Wellicht dat ik met een efficiëntere adapter nog iets kan winnen, maar mijn load zal niet snel lager worden.

[andru123]

Trouwens, @GioStyle alle gepinned posts van jou zijn leeg geworden?

[mrmrmr]

@HotSpot79

top of htop en eventueel strace om I/O verkeer te monitoren.

Soms is het minder eenvoudig, vooral als er forks worden gebruikt om taken af te handelen in plaats van threads. De forks verdwijnen dan weer zodat je die met top niet meer ziet. Je kan wel top een tijdje in de gaten houden, die poppen dan in en uit beeld. Als de taken te kort duren zie je ze alsnog niet, dan kan strace helpen.

Monitoring is een veel voorkomende oorzaak van belasting. Soms wordt te vaak (te hoge frequentie) of onnodig gelogd. Het wordt een stuk zuiniger van als je alleen de noodzakelijke dingen logt omdat dan diverse componenten de gelegenheid krijgen in low power stand te gaan.

Een voorbeeld van te vaak loggen is het opvragen van de cumulatieve stand van de omvormer van de zonnepanelen. Ik denk dat eens per 5 minuten voldoende is omdat je in de grafieken toch geen details nodig hebt.
Een ander voorbeeld van te vaak loggen is het kijken of het systeem nog draait. Dat hoeft niet 50 keer per seconde. Dat kan net zo goed iedere minuut of 10 seconden. Je kan als mens toch niet snel genoeg ingrijpen en de noodzaak is er thuis niet zo om de server downtime te beperken. Het kost geen geld. Er zit thuis geen groep van 25 mensen aan personeel met de armen over elkaar.

@Mars Warrior heeft met succes het aantal wakeups teruggebracht.

[Mich]

mrmrmr schreef op dinsdag 21 maart 2023 @ 05:22:
@HotSpot79

top of htop en eventueel strace om I/O verkeer te monitoren.

Soms is het minder eenvoudig, vooral als er forks worden gebruikt om taken af te handelen in plaats van threads. De forks verdwijnen dan weer zodat je die met top niet meer ziet. Je kan wel top een tijdje in de gaten houden, die poppen dan in en uit beeld. Als de taken te kort duren zie je ze alsnog niet, dan kan strace helpen.

Monitoring is een veel voorkomende oorzaak van belasting. Soms wordt te vaak (te hoge frequentie) of onnodig gelogd. Het wordt een stuk zuiniger van als je alleen de noodzakelijke dingen logt omdat dan diverse componenten de gelegenheid krijgen in low power stand te gaan.

Een voorbeeld van te vaak loggen is het opvragen van de cumulatieve stand van de omvormer van de zonnepanelen. Ik denk dat eens per 5 minuten voldoende is omdat je in de grafieken toch geen details nodig hebt.
Een ander voorbeeld van te vaak loggen is het kijken of het systeem nog draait. Dat hoeft niet 50 keer per seconde. Dat kan net zo goed iedere minuut of 10 seconden. Je kan als mens toch niet snel genoeg ingrijpen en de noodzaak is er thuis niet zo om de server downtime te beperken. Het kost geen geld. Er zit thuis geen groep van 25 mensen aan personeel met de armen over elkaar.

@Mars Warrior heeft met succes het aantal wakeups teruggebracht.

Wat ook een mooie tool is is btop++

Kan je veel mee zien in een scherm en een proces kan je ook direct afsluiten eventueel

https://github.com/aristocratos/btop

https://github.com/aristocratos/btop#screenshots

[over-de-heuvel]

Advies gevraagd.

Ik ben van plan om een server te bouwen met de volgende onderdelen:

• AMD Ryzen 3 3200G Boxed
• ASRock A520M-HVS
• G.Skill Aegis F4-3200C16S-16GIS
• WD Green SN350 480GB
• WD Blue 3,5" (CMR, 64MB cache, 5400rpm), 1TB
• Mini-box picoPSU 90
• Leicke ULL Power Supply 120 W

Ik wil deze server gaan gebruiken voor Docker, Plex, Nextcloud, Home Assistant en mogelijk nog andere lichte toepassingen. Mijn doel is om het energieverbruik zo laag mogelijk te houden. Mijn vraag is of ik op de juiste weg ben?

[mrmrmr]

@Mich

atop heeft ook wel wat aardige inzichten, vooral voor een programmeur. Zo kun je net als onder Windows zien of een executable threads heeft en op welke core die draait.

@over-de-heuvel

Intel is in het algemeen wat betreft desktop processoren een stuk zuiniger dan AMD in idle. Kijk eens onder de gepinde posts (icoon rechtsboven) voor systemen van medetweakers. In jouw geval zou ik eens kijken naar een ASRock Deskmini 310 (met Intel processor) met een SATA SSD.

Een 3.5" disk kan evenveel verbruiken als een complete computer. Die zou ik daarom niet toepassen. 2.5" disk of SSD kan wel. SSD's zijn het zuinigst.

Wat betreft het geheugen kun je het beste JEDEC SPD geheugen kiezen (geen overclock/gaming geheugen), dat past bij de processor volgens de fabrikant. Geheugen met koelers erop zijn meestal niet het type dat je nodig hebt. Saaie kale DIMM's zijn doorgaans JEDEC standaard. Let ook op de spanning. DDR4 heeft 1,2V. Als het meer is, is het waarschijnlijk geen standaard JEDEC geheugen en gebruikt het XMP (eXtreme Memory Profile).

Bijvoorbeeld:

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Core i3-9100 Tray	€ 126,06	€ 126,06
1	Barebones	ASRock DeskMini 310	€ 161,10	€ 161,10
1	Geheugen intern	Crucial CT2K8G4SFRA32A	€ 39,29	€ 39,29
1	Solid state drives	Samsung 870 QVO 2TB	€ 127,59	€ 127,59
			Totaal	€ 454,04

Nog niet meegenomen is een 1151 koeler. Je kan 75 euro besparen op de processor door die tweedehands aan te schaffen. Een processor gaat niet zomaar kapot, als hij werkt in het begin blijft die wel werken.

Een webapplicatie zoals NextCloud heeft weinig impact, maar sommige downloaders kunnen wel behoorlijk wat verbruiken.

Hetzelfde geldt voor monitoring. Als je een lading monitors in huis hebt met het doel om energie te besparen is het soms beter al die monitors niet 24x7 aan te laten staan. Tegenwoordig hebben LED lampen een verbruik van een Watt of 5. Een monitor verbruikt al snel >1W voor WiFi communicatie, maar dan het hele jaar door, wel 8x keer langer. Die lamp staat maar een fractie van de tijd aan. Ik zou dus teruggaan naar first principles om energieverbruik aan te pakken. Is x een probleem en is y wel echt een oplossing?

Stel een LED lamp staat 1000 uur per jaar aan. Een jaar duurt 8760 uur. De lamp verbruikt 5W * 1000 = 5 kWh per jaar. Een WiFi monitor verbruikt bijvoorbeeld 1,2W. Die staat 8760 uur aan. De monitor verbruikt per jaar 10,5kWh. Zoals je ziet is dat 2 keer meer dan de lamp zelf. Die ene lamp automatisch in en uit te laten schakelen kost 2 keer meer energie. Daarbij moet je nog de overhead van de server meetellen. Het verbruik moet behoorlijk hoog zijn om besparing te kunnen halen.

[GoBieN-Be]

Ik heb de cheap voeding van mijn topton N5100 4port I226 mini-PC vervangen door de Leicke 60W.
Dagelijkse energie statistieken heb ik nu nog niet.
Maar van het vermogen is mijn schatting ~1W minder (~7W i.p.v. ~8W).

[ Voor 9% gewijzigd door GoBieN-Be op 21-03-2023 21:45 ]

[RobertMe]

GoBieN-Be schreef op dinsdag 21 maart 2023 @ 21:44:
Ik heb de cheap voeding van mijn topton N5100 4port I226 mini-PC vervangen door de Leicke 60W.
Dagelijkse energie statistieken heb ik nu nog niet.
Maar van het vermogen is mijn schatting ~1W minder (~7W i.p.v. ~8W).

Met E3,50 besparing per jaar zal het vast even duren voordat je die investering eruit haalt

Maar zonder grappen. Ik zou ga* zelf ook de voeding vervangen. Zo'n Chinese no-name voeding zou ik ook niet vertrouwen.

Welk OS draai je overigens? Een *sense?

* * RobertMe hoopt deze week een TopTon N5105 met i226 te ontvangen. Bedoeling is om daar Debian op te knallen en van daaruit zelf in te regelen. Hoop ik toch een paar W mee te besparen

[GoBieN-Be]

Betrouwbaarheid van de voedingsadapter was de primaire reden.
Die Leicke was trouwens goedkoop.

Ik heb eerst OPNsense baremetal erop gedraaid, maar heb er nu proxmox op staan en 1 VM OPNsense.
Zo kon het verbruik nog iets lager.

[ Voor 8% gewijzigd door GoBieN-Be op 21-03-2023 23:07 ]

[andru123]

@GoBieN-Be verbruik met VM lager dan bare metal? Hoe lager?

[Mich]

andru123 schreef op woensdag 22 maart 2023 @ 03:46:
@GoBieN-Be verbruik met VM lager dan bare metal? Hoe lager?

Ik denk dat dat komt omdat proxmox op Debian is gebaseerd en opnsense op freebsd. De laatste heeft een hogere focus op security.

[ Voor 8% gewijzigd door Mich op 22-03-2023 07:30 ]

[mrmrmr]

Ja, OpenSense draait op *BSD, en *BSD heeft niet veel power management (net als ESXi), vandaar dat Debian, dat wel zeer goede power management heeft, veel zuiniger zal zijn. Ondanks de VM. Het beste is natuurlijk geen VM en rechtstreeks gebruik, maar pf draait niet onder Linux voor zover ik weet. Jammer, want het heeft volgens mij een veel prettigere syntax.

Voor security moest je van oudsher OpenBSD hebben. Ze gingen er vroeger prat op geen remote vulnerabilities te hebben in de default install, maar het werden er toch 2 vanaf 2007.

[ Voor 6% gewijzigd door mrmrmr op 22-03-2023 12:29 ]

[GoBieN-Be]

Met Proxmox (Debian gebaseerd) kon ik powertop uitvoeren en zo verbruik een 2-tal Watts naar beneden brengen. Zie mijn eerdere berichten.

Met baremetal OPNsense had ik ook al C-states geconfigureerd via de tunables en governor op powersave gezet, maar toch bleef ik zo rond 9 a 10W vermogen hangen.

[Mars Warrior]

Ik ben nog steeds bezig om de bestaande server uit te faseren. Dat gaat stap voor stap.

Eén van de stappen was het uitzetten van CrashPlan Pro op de bestaande server, en een mooie container te gebruiken op Ubuntu 22.04.
Door wijziging OS kan ik niet zomaar ff een backup terugrollen vanuit de cloud, dus dat doe ik lokaal. Dat gaat ook nog eens een stuk sneller dan via mijn 200mbit internet verbinding.

Crashplan is een flinke stroomvreter, dus ik was benieuwd wat die trekt op de nieuwe server en of het wijzigen van de maximale frequentie van de P en E-cores iets doet...

In dit voorbeeld is Crashplan lekker aan het syncen. Heb nieuwe - kleinere - backupsets aangemaakt, en dus moet hij gaan syncen naar de cloud.

Je ziet hieronder 3 stappen:

• Het begin is met default CPU instellingen. P op max 5Ghz en E op max 3.8Ghz
• Tweede deel is met P op max 4Ghz en E op max 3Ghz
• Derde deel is met P op max 3.5Ghz en E op max 2.5Ghz

Het verbruik gaat zoals je ziet van 9W gemiddeld naar 5,5W gemiddeld en door naar 4,6W.

Bijna een halvering dus in verbruik! Dat is een leuk resultaat. Crashplan ga ik later aan een paar cores 'vastbinden' en dan eens kijken hoe ver die naar beneden kunnen voor een goed resultaat: de backup moet natuurlijk nog wel op een goed tempo gaan!

Met de laagste instellingen pakt Crashplan ca 20% CPU van één core. Dus die heeft nog ruimte zat.

Als ik uitlog op de MMI van Crashplan (CP heeft een MMI. Die wordt in de container via xvc en Nginx voor een browser beschikbaar gemaakt) dan zakt het verbruik naar ca 3,5W met de laagste instellingen van de CPU.



De eerdere metingen/testen die ik heb gedaan met het verlagen van de maximale CPU frequentie blijken in de praktijk dus zowaar resultaat te hebben: Zelfs bij een gemiddeld niet echt hoog verbruik (die 9W) blijkt het limiteren dus effect te hebben en te resulteren in een flink lager verbruik.

[Jazco2nd]

@Mars Warrior welke software gebruik je voor monitoring van dit soort dingen? Is dat InfluxDB en Grafana in Docker?

Ik moet ook maar eens een goede stroommeter aanschaffen. Mijn oude was een cheap ding die constant schommelde tussen de 7 en 8 watt, ongeacht of mijn drives actief waren of fysiek niet aangesloten..

Sowieso vrij hoog voor een D3644-B met core i3 9100. Al jouw data maakt me nu ook nieuwsgierig.

Ik kan me herinneren dat @mrmrmr ergens wat testen had gedaan van energiemeters. Maar idealiter natuurlijk een plug die via wifi ofzo info doorgeeft.

[HyperBart]

@Jazco2nd disks aan of uit zou echt wel een verschil moeten maken.
Ik vind dat je nogal streng bent, 7 of 8W is toch niks?

[Jazco2nd]

HyperBart schreef op woensdag 22 maart 2023 @ 14:01:
@Jazco2nd disks aan of uit zou echt wel een verschil moeten maken.
Ik vind dat je nogal streng bent, 7 of 8W is toch niks?

Wat is de maatstaf?
Vergeleken met een TV of gameconsole is het niks nee.
Maar als je de resultaten in Deel 2 ziet van anderen met dit bord of vergelijkbaar zou het wel lager moeten zijn. Daar gaat het mij om.

Ik heb
-3x SATA SSDs (Samsung 860 EVO en 870 QVO)
- 1x NVME (Samsung PM9A1, die zeer zuinig zou zijn)
- 2x 16GB ECC non-reg.
- Geen fans. Alles is passief gekoeld.
- DisplayPort kabel met monitor (uitgeschakeld) en een Microsoft nano USB ontvanger voor keyboard/muis aangesloten.

Gek genoeg als ik de SATA SSDs ontkoppel en opstart en half uurtje wacht zie ik zelfde verbruik als met verbonden, idle SATA SSDs.

En ik meet ik 2.1 watt als de server is uitgeschakeld.. dat vind ik ook gek.

Lijkt me dus slechte meter..

[Mars Warrior]

Jazco2nd schreef op woensdag 22 maart 2023 @ 13:55:
@Mars Warrior welke software gebruik je voor monitoring van dit soort dingen? Is dat InfluxDB en Grafana in Docker?

Enkel InfluxDB en Telegraf. InfluxDB kan ook dashboards maken. Scheelt weer een Grafana container!

De waarden die ik toon zijn van het CPU Package zelf. Daarvoor moet ik wel die files toegankelijk maken, want ik krijg het NIET voor elkaar om Telegraf als echte root te laten draaien...

Onder Ubuntu moet ik nog bij opstarten een script laten uitvoeren die het volgende doet:
sudo chmod -R a+rx /sys/devices/virtual/powercap/intel-rapl/

Brrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrr. Docker in het zuinige server topic

YAML:

##_____________________ Metrics [Metrics/influxdb]

  met-influxdb:
    container_name: met-influxdb
    restart: unless-stopped
    image: influxdb
    volumes:
      - $DOCKERDIR/metrics/influxdb/data:/var/lib/influxdb2
      - $DOCKERDIR/metrics/influxdb/config:/etc/influxdb2
      - /etc/timezone:/etc/timezone:ro
      - /etc/localtime:/etc/localtime:ro
    environment:
      - INFLUXDB_ADMIN_USER=$INFLUXADMINUSER
      - INFLUXDB_ADMIN_PASSWORD=$INFLUXADMINPASS'
      - INFLUX_GRAPHITE_ENABLED='true'
      - PRE_CREATE_DB='metrics'
      - INFLUXDB_DB='metrics'
      - INFLUX_HTTP_AUTH_ENABLED='true'
    ports:
      - "8086:8086"
    networks:
      - web-proxy
      - metrics
    labels:
      plugsy.name: InfluxDB
      plugsy.link: http://influxdb.z/
      plugsy.category: Metrics
      caddy: http://influxdb.z
      caddy.reverse_proxy: "{{upstreams 8086}}"


##_____________________ Metrics [Metrics/telegraf]

  met-telegraf:
    container_name: met-telegraf
    image: telegraf
    depends_on:
      - met-influxdb
    cap_add:
      - SYS_RAWIO
    privileged: true
    volumes:
      - $DOCKERDIR/metrics/telegraf/telegraf.conf:/etc/telegraf/telegraf.conf:ro
    user: "1000:0"
    networks:
      - metrics
    environment:
      - INFLUXDB_ADMIN_USER=$INFLUXADMINUSER
      - INFLUXDB_ADMIN_PASSWORD=$INFLUXADMINPASS'
      - INFLUX_GRAPHITE_ENABLED='true'
      - PRE_CREATE_DB='metrics'
      - INFLUXDB_DB='metrics'
      - INFLUX_HTTP_AUTH_ENABLED='true'

Al die SYS_RAWIO, privileged etc. dingen lijken niet te werken om de CPU Power zomaar op te kunnen vragen van de host. Ach. Het werkt nu, dus ik ga er ook ff geen tijd meer aan besteden...

[HyperBart]

@Mars Warrior wat is het probleem met docker in het kader van zuinigheid?

[Jazco2nd]

@Mars Warrior Top thanks! Ik ga het later ook eens even proberen. Heb ooit met grafana, Prometheus en al die andere benodigde containers gestoeid. Vond het teveel moeite en gedoe en containers voor een homeserver, zeker als je er niet elke dag naar gaat kijken.

Jouw opzet is stuk simpeler!

[Mars Warrior]

HyperBart schreef op woensdag 22 maart 2023 @ 14:10:
@Mars Warrior wat is het probleem met docker in het kader van zuinigheid?

Er is niet echt een probleem, anders dan dat je met minder containers minder verbruik hebt.

Verder kun je door de healtcheck uit te zetten en/of slechts elke minuut te doen het verbruik ook beperken.

Dat alles zuiniger wordt als je de max frequentie van de CPU limiteert is niet docker specifiek, maar docker geeft je wel de mogelijkheid om containers aan een CPU set te koppelen (heb ik nog niet getest overigens), zodat ik voor specifieke containers ook specifieke CPU's en hun max. frequentie kan configureren.

Dit gaat dan niet om het idle verbruik, maar om het verbruik (Joules / kWh) bij gebruik te beperken.

Als je de turbo uitzet kom je al een heel eind, maar ik wil dat nog verder kunnen configureren.

[ Voor 6% gewijzigd door Mars Warrior op 22-03-2023 14:17 ]

[Mars Warrior]

Jazco2nd schreef op woensdag 22 maart 2023 @ 14:10:
@Mars Warrior Top thanks! Ik ga het later ook eens even proberen. Heb ooit met grafana, Prometheus en al die andere benodigde containers gestoeid. Vond het teveel moeite en gedoe en containers voor een homeserver, zeker als je er niet elke dag naar gaat kijken.

Jouw opzet is stuk simpeler!

Ik heb ook geleerd van de afgelopen jaren met containers kloten.

InfluxDB en Telegraf zijn voor nu voldoende. Telegraf kan ook via een plugin de Prometheus /metrics endpoints scrapen, dus hoef je heel Prometheus niet meer te gebruiken.

Ik had voorheen ca 100 containers, en ga nu terug naar ca 30. Mede door dit soort dingen.

[andru123]

@HyperBart @Jazco2nd het kan gebeuren als de meter geen TrueRMS is en kan niet met lage PF omgaan, of gewoon niet nauwkeurig. Ik heb het zelf ervaren met goedkopere Chinese plugs (maar wel alles is chinees tegewoordig)

Er staat link naar beste energiemeters in de topic start.

@GoBieN-Be helaas het is niet mogelijk op bepaalde persoon posts in de topic te zoeken, ik ga toch proberen.
@Mars Warrior mooi resultaat, maar weet je zeker dat Crashplan gewoon niet 2x langer doet met 2x minder vermogen?

[mrmrmr]

Jazco2nd schreef op woensdag 22 maart 2023 @ 13:55:
Ik kan me herinneren dat @mrmrmr ergens wat testen had gedaan van energiemeters. Maar idealiter natuurlijk een plug die via wifi ofzo info doorgeeft.

Gewone energiemeters zijn beter terug te vinden in tests dan WiFi meters. Er is een aparte topic over energiemeters met links of beschrijvingen naar tests die onder andere c't heeft gedaan. De laatste test wordt daar besproken.

WiFi meters hebben een relatief hoog eigenverbruik, dus ik zou die niet toepassen voor een zuinige server.

offtopic:
Het heeft nut als het eigenverbruik van een apparaat tamelijk hoog is en je doel het besparen van energie. Bijvoorbeeld het tunen van een warmtepomp of een tijd wasmachines, wasdrogers, afwasmachines en koel/vrieskasten meten. Vooral koel- en vrieskasten uit de vorige eeuw kunnen veel verbruiken, het loont al snel om die te vervangen. Serieus elektriciteit besparen

Een goede reden voor een nieuwe energiemeters is onnauwkeurigheid van oudere meters, 10 jaar of ouder. Die meten soms VA en niet het werkelijke verbruik, daardoor geeft die teveel aan. Ook is de laatste jaren de nauwkeurigheid beter geworden in meer modellen.

[RobertMe]

Mars Warrior schreef op woensdag 22 maart 2023 @ 14:07:
[...]

Enkel InfluxDB en Telegraf. InfluxDB kan ook dashboards maken. Scheelt weer een Grafana container!

Hoeveel zou dat schelen? Als je Grafana niet gebruikt zal die ook niks doen? Tenzij je natuurlijk alerting inbouwd / configureert, maar dan doet die ook iets Maar puur als dashboard zou ik toch verwachten dat het verbruik "0" is zolang je niet het dashboard open hebt staan.

---

* RobertMe zat gisteren naar zijn Docker host te kijken, en had daarbij het idee dat PiHole (container) iets van 50 tot 100 wakeups geeft (aldus verschil in Powertop weergave). Daar vandaag eens verder naar zoeken, vond ik namelijk ook vrij fors. Zeker gezien ik deze 2x draai (de tweede draait op VLAN waarbij alles over een VPN naar buiten gaat en PiHole dus ook een afwijkende upstream server gebruikt).

[Mars Warrior]

RobertMe schreef op woensdag 22 maart 2023 @ 14:36:
[...]

Hoeveel zou dat schelen? Als je Grafana niet gebruikt zal die ook niks doen? Tenzij je natuurlijk alerting inbouwd / configureert, maar dan doet die ook iets Maar puur als dashboard zou ik toch verwachten dat het verbruik "0" is zolang je niet het dashboard open hebt staan.

Zie hier een niet gebruikte Grafana container die volgens Portainer toch echt wel wat doet...

Het piekje in de CPU is 0.2% overigens.

[RobertMe]

Mars Warrior schreef op woensdag 22 maart 2023 @ 14:43:
[...]

Zie hier een niet gebruikte Grafana container die volgens Portainer toch echt wel wat doet...

Het piekje in de CPU is 0.2% overigens.

[Afbeelding]

Nouja, natuurlijk zal die "iets" doen, en dat lijkt dus minder dan 0,1% te zijn Als je Grafana niet nodig hebt (omdat je dus bv met InfluxDB uit de voeten kunt) is het natuurlijk mooi meegenomen. Maar het zou wel een microoptimalisatie zijn en geen kWhs op jaarbasis besparen.

[Mars Warrior]

RobertMe schreef op woensdag 22 maart 2023 @ 14:49:
[...]

Nouja, natuurlijk zal die "iets" doen, en dat lijkt dus minder dan 0,1% te zijn Als je Grafana niet nodig hebt (omdat je dus bv met InfluxDB uit de voeten kunt) is het natuurlijk mooi meegenomen. Maar het zou wel een microoptimalisatie zijn en geen kWhs op jaarbasis besparen.

Dit zijn inderdaad niet de dingen waar je je erg druk om moet maken nee.

Meer containers zijn natuurlijk wel meer wake-ups, en dus minder verblijf in C8-C10 package states, maar je zult het op je energierekening niet gaan merken.

Het is dat ik nu dingen aan het inrichten ben dat ik erop let, maar anders zou ik het lekker laten draaien.

[andru123]

@Mars Warrior bedankt voor goede tips. Ik ben benieuwd of het grafana of container zelf al dat netwerk en io veroorzaakt. Als je grafana baremetal of in een andere container (samen met iets anders) doet, is dat misschien beter.
Ik wil graag zo zuinig mogelijk zijn, ook al maakt het op jaarbasis weinig uit. al deze kleine dingen tellen op.

[Mars Warrior]

Voor de mensen die al eerder te maken hebben gehad met dat maffe ext4 lazy init proces: dat kun je voorkomen.

Ik had er bij het overzetten van mijn eerste schijf erg veel last van: ik ging meteen terabytes aan data overhalen, en dat ging met het tempo van een USB 2.0 verbinding.. Pfffffffffffffffffffffffffffff.

De tweede schijf heb ik lazy init uitgezet. Dan moet je wel ff wachten op het aanmaken van de schijf, maar daarna ben je klaar:

Het gaat om het

code:

mkfs.ext4 -E lazy_itable_init=0,lazy_journal_init=0 /dev/sdb1

commando.

Bash:

root@domiducus: mkfs.ext4 -E lazy_itable_init=0,lazy_journal_init=0 /dev/sdb1
mke2fs 1.46.5 (30-Dec-2021)
Aanmaken van bestandssysteem met 976754385 blokken (van 4K) en 244195328 inodes.
Bestandssysteem-UUID: 374eccf9-794e-4bce-9443-05285731ca3f
Superblokreservekopieën zijn opgeslagen in blokken:
        32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208,
        4096000, 7962624, 11239424, 20480000, 23887872, 71663616, 78675968,
        102400000, 214990848, 512000000, 550731776, 644972544

Reserveren van groepstabellen: voltooid
Schrijven van inodetabellen: voltooid
Aanmaken van journal (262144 blokken): voltooid
Schrijven van superblokken en bestandssysteem-metagegevens: voltooid

Ik pomp nu vanaf het begin met 70-100MB/sec mijn data over

[andru123]

Verschrikkelijk feature, die lazy_init. Gebeurt het ook op SSDs? En ook in VMs en containers?
Dus dan elke keer ik een partition creëer in a nieuwe VM, halveert mijn SSD levensduur?
@Mars Warrior er schijnt een manier om dit process te versnellen, maar niet helemaal uitschakelen helaas

[latka]

andru123 schreef op donderdag 23 maart 2023 @ 14:49:
Verschrikkelijk feature, die lazy_init. Gebeurt het ook op SSDs? En ook in VMs en containers?
Dus dan elke keer ik een partition creëer in a nieuwe VM, halveert mijn SSD levensduur?
@Mars Warrior er schijnt een manier om dit process te versnellen, maar niet helemaal uitschakelen helaas

Lazy init is het uitgesteld schrijven van de schijfboekhouding. Bij FAT was dat nog eenvoudig (1x block aan het begin van het device, 1x block aan het einde). Bij Ext4 (of eigenlijk alles behalve fat) zit de metadata op meer plekken om zo schaalbaarder en meer resillient bij verstoringen te zijn. Bij delayed init stel je het schrijven van de boekhouding uit zodat je de schijf al kunt gebruiken. Mocht je direkt stukken gaan beschrijven waar de meta-data nog moet komen, dan gebeurt dat met prio, en anders pruttelt het lekker door.

Dan de vraag: is dit erg voor je SSD? Mwoah, niet heel erg: als in er wordt 1x schreven op bepaalde plekken op de schijf. Als je de schijf daarna in gebruik neemt en flink gaat schrijven dan doe je beduidend meer schrijfacties.

Voor de helderheid: de metadata staat niet overal op je schijf. Dus het is niet dat Ext4 je hele schijf gaat beschrijven.

Uitschakelen kan niet want dan heb je geen filesysteem maar een verzameling blokken op je schijf zonder de registratie van welke file waar staat. ZFS bijv. doet het volgens mij altijd on demand (dus boekhouding schrijven als je dat deel van de schijf vult). Dat is eigenlijk hetzelfde als delayed_init, maar dan heel erg delayed.

[ Voor 3% gewijzigd door latka op 23-03-2023 16:39 . Reden: Verduidelijken ]

[andru123]

Oh ok, so hij gaat niet met nulletjes elke sector vullen. Maar waarom duurt het zo lang en kost zoveel energie? Er zijn in totaal wat - 10.000 sectors? - gebruikt voor deze structuur? Dat is niks, kan in paar seconden geschreven worden. Of gewoon inefficiënte implementatie?

[Mars Warrior]

andru123 schreef op donderdag 23 maart 2023 @ 17:29:
Oh ok, so hij gaat niet met nulletjes elke sector vullen. Maar waarom duurt het zo lang en kost zoveel energie? Er zijn in totaal wat - 10.000 sectors? - gebruikt voor deze structuur? Dat is niks, kan in paar seconden geschreven worden. Of gewoon inefficiënte implementatie?

Interactief duurde het ca 10-15 minuten, en toen was het klaar en kon ik lekker data overhalen.

[TwitchyNL]

Ik ben momenteel aan het kijken naar server (Unraid) voor thuis met zo af en toe een VM die aan staat en verder wat containers die altijd draaien (nextcloud, pihole, home assistant, in de toekomst hopelijk ook jellyfin). Voor mijn CPU/Mobo/RAM heb ik al heel veel aan dit topic en diverse andere bronnen gehad, maar op het gebied van HDD's kom ik maar weinig nuttige vergelijkingen tegen die een beetje recent zijn.

Een array van alleen maar SSDs is op het moment nog zo prijzig (naast lagere maximale opslag per disk) dat dat niet echt zinvol lijkt om daar voor te gaan. Ik heb het idee dat grote HDD's nogal in verbruik kunnen verschillen (schrijven/lezen/zoeken/idle/spindown), aangezien mijn server 24x7 zal draaien zou ik graag een goed overwogen keuze maken waarbij stroomverbruik dus minimaal blijft. 5400 RPM disks lijken vaak net even wat zuiniger, ook komen die sneller op vanuit spindown (wat ik zeker ga inzetten met unraid). De lagere schrijfsnelheid maakt me niet zo veel uit (ik gebruik m.2 NVME cache disks).

Heeft iemand een goede bron voor recente HDD's van tussen de 6 en 14TB, en het verbruik onder verschillende scenario's?

[HyperBart]

EUR/Gb moet je bij HDD's zijn.

Het is heel moeilijk echte verbruikscijfers te vinden omdat er zoveel modellen en varianten van HDD's zijn.
Het is makkelijker om met gemiddeldes per disk te werken en afhankelijk van je gebruikspatroon HDD spindown in te regelen.

Solid State Drive SSD
0.6 to 2.8 W

2.5" Hard Disk Drive HDD
0.7 to 3 W

3.5" Hard Disk Drive HDD
6.5 to 9 W

[ Voor 19% gewijzigd door HyperBart op 24-03-2023 14:40 ]

[kevi-n1]

TwitchyNL schreef op vrijdag 24 maart 2023 @ 12:34:
(ik gebruik m.2 NVME cache disks).

Qua performance ben ik heel blij met mijn 2 nvme schijven in mij unraid server. Qua stroomverbruik niet. Nvme schijven kunnen heel zuinig zijn als je ze niet aanspreekt maar als er nextcloud en dergelijke op draait zijn ze toch altijd actief en hebben ze een verbruik van 3 a 4 watt per stuk. Wanneer de 2,5" ssd betaalder zijn ga ik ze zeker weer omwisselen want ook al zijn ze langzamer, dat ga je in de praktijk niet merken. Wel in het stroomverbruik.

[D-Three]

@kevi-n1 Welke SSD's heb je nu? En ga je die 2 watt verschil dan echt terugverdienen in de kosten die je daarvoor maakt?

[kevi-n1]

D-Three schreef op zaterdag 25 maart 2023 @ 07:37:
@kevi-n1 Welke SSD's heb je nu? En ga je die 2 watt verschil dan echt terugverdienen in de kosten die je daarvoor maakt?

Ik heb 2x de samsung 970 EVO 2TB. Het klopt wat je zegt. Zolang ze goed draaien ga je het niet snel terugverdienen die paar watt besparing. Denk dat ik beter mijn 3,5" schijven kan vervangen wanneer ze op zijn voor de zuinigere 2,5" varianten.

[mrmrmr]

@kevi-n1

Waarom spreekt Nextcloud de SSD's voortdurend aan? Ik weet dat Owncloud dat niet doet. Een plugin?

Is er misschien iets anders dat de schijf aanspreekt?

[kevi-n1]

mrmrmr schreef op zaterdag 25 maart 2023 @ 14:14:
@kevi-n1

Waarom spreekt Nextcloud de SSD's voortdurend aan? Ik weet dat Owncloud dat niet doet. Een plugin?

Is er misschien iets anders dat de schijf aanspreekt?

Ik ben er eens ingedoken en het lijkt niet het aanspreken van de NVME schijven te zijn want het aantal reads op de schijf zijn verwaarloosbaar het afgelopen uur. Ik heb een D3417-B en op het onboard slot zit de ene NVME schijf en via een PCIe adapter (Icy-Box IB-PCI208) is de andere NVME aangesloten.

Wanneer ik kijk of ASPM op alle apparaten werkt, lijkt dit niet zo te zijn.

code:

root@server:~# lspci -vv | awk '/ASPM/{print $0}' RS= | grep --color -P '(^[a-z0-9:.]+|ASPM )'
00:1c.0 PCI bridge: Intel Corporation 100 Series/C230 Series Chipset Family PCI Express Root Port #5 (rev f1) (prog-if 00 [Normal decode])
                LnkCap: Port #5, Speed 8GT/s, Width x4, ASPM not supported
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
00:1d.0 PCI bridge: Intel Corporation 100 Series/C230 Series Chipset Family PCI Express Root Port #9 (rev f1) (prog-if 00 [Normal decode])
                LnkCap: Port #9, Speed 8GT/s, Width x4, ASPM L1, Exit Latency L1 <16us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
01:00.0 Non-Volatile memory controller: Samsung Electronics Co Ltd NVMe SSD Controller SM981/PM981/PM983 (prog-if 02 [NVM Express])
                LnkCap: Port #0, Speed 8GT/s, Width x4, ASPM L1, Exit Latency L1 <64us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
02:00.0 Non-Volatile memory controller: Samsung Electronics Co Ltd NVMe SSD Controller SM981/PM981/PM983 (prog-if 02 [NVM Express])
                LnkCap: Port #0, Speed 8GT/s, Width x4, ASPM L1, Exit Latency L1 <64us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+

[mrmrmr]

@kevi-n1 Ik zou even rondkijken in de volledige output om te zien welke SSD het ASPM probleem heeft. Als je zoekt op "SM981" in dit topic zie je meer soortgelijke meldingen. Forceren van ASPM helpt misschien.

Bij nieuwere moederborden met twee M.2 slots is er gerapporteerd dat het ene M.2 slot het wel goed doet met ASPM (iets langzamer) en de andere niet (iets sneller). Hangt misschien samen met waar de locatie van de controller: chipset of processor.

[andru123]

@kevi-n1 en ook als de PCI-kaart in het PEG-slot zit.

Trouwens, @mrmrmr misschien een goed idee om deze bevinding van Mich toe te voegen aan de eerste post? Als iemand bevestigt wat Mich in "Het grote zuinige server topic - deel 3" vraagt.

[mrmrmr]

andru123 schreef op zaterdag 25 maart 2023 @ 18:15:
@kevi-n1 en ook als de PCI-kaart in het PEG-slot zit.

Trouwens, @mrmrmr misschien een goed idee om deze bevinding van Mich toe te voegen aan de eerste post? Als iemand bevestigt wat Mich in "Het grote zuinige server topic - deel 3" vraagt.

Als het voldoende onderbouwd is met bijvoorbeeld een correct werkende netwerkkaart, bijvoorbeeld een moderne Intel netwerkchip met voleldig power management op 1 Gbps met/zonder EEE.

Ik heb geen K3843 meer beschikbaar om mee te testen, die borden zijn inmiddels in gebruik.

[kevi-n1]

andru123 schreef op zaterdag 25 maart 2023 @ 18:15:
@kevi-n1 en ook als de PCI-kaart in het PEG-slot zit.

Trouwens, @mrmrmr misschien een goed idee om deze bevinding van Mich toe te voegen aan de eerste post? Als iemand bevestigt wat Mich in "Het grote zuinige server topic - deel 3" vraagt.

@andru123 Het duurde even voordat ik met mijn server kon gaan prutsen. Over het PEG-slot had ik nog niet nagedacht dus a.d.h.v. van de D3417 user manual ben ik eerst naar de BIOS gegaan om daar de graphics op "internal graphics" te zetten i.p.v. 'auto'. Vervolgens de server opnieuw opgestart maar dit bleek niet de oplossing te zijn.

Dus ik ben gaan kijken welke schijf het nou betrof:

code:

root@Server:~# ls -l /sys/block/nvme0n1
lrwxrwxrwx 1 root root 0 Mar 26 20:55 /sys/block/nvme0n1 -> ../devices/pci0000:00/0000:00:1c.0/0000:01:00.0/nvme/nvme0/nvme0n1/
root@Server:~# ls -l /sys/block/nvme1n1
lrwxrwxrwx 1 root root 0 Mar 26 20:55 /sys/block/nvme1n1 -> ../devices/pci0000:00/0000:00:1d.0/0000:02:00.0/nvme/nvme1/nvme1n1/

root@Server:~# lspci -vv | awk '/ASPM/{print $0}' RS= | grep --color -P '(^[a-z0-9:.]+|ASPM )'
01:00.0 Non-Volatile memory controller: Samsung Electronics Co Ltd NVMe SSD Controller SM981/PM981/PM983 (prog-if 02 [NVM Express])
                LnkCap: Port #0, Speed 8GT/s, Width x4, ASPM L1, Exit Latency L1 <64us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
02:00.0 Non-Volatile memory controller: Samsung Electronics Co Ltd NVMe SSD Controller SM981/PM981/PM983 (prog-if 02 [NVM Express])
                LnkCap: Port #0, Speed 8GT/s, Width x4, ASPM L1, Exit Latency L1 <64us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+

nvme0n1 is disabled

In Unraid
Model number: Samsung SSD 970 EVO Plus 2TB
Serial number: S4J4NX0RA25****

Met het serienummer kon ik zien dat het de NVME betrof die in de PCIe slot X4 zat. Deze heb ik naar het X16 slot verplaatst en na een reboot bleek de ASPM enabled te zijn.

Het idle verbruik voor (3 x 3,5" 4TB, 2 x 500GB SSD, 2x 2TB NVME) is nu 12,4W (gemeten met de Brennenstuhl)

[andru123]

@kevi-n1 wat was het verbruik? Naar welke slot precies heb je verplaatst, Er zijn meerdere? De theorie hier dat een (willekeurige) card in 1st PCI slot (PEG) laat de CPU package niet naar zuiniger stand.
Als je powertop draait, wat is de laagste package C-state?

[mrmrmr]

@andru123
Dit is een bijzonder moederbord, het is een zeer zuinig Fujitsu bord van de Skylake (6e/7e) generatie. Het is niet representatief voor alle merken en soorten moederborden omdat het bijzonder power management heeft.

@kevi-n1
Staan de disks stil tijdens de meting van 12,4W?

[kevi-n1]

andru123 schreef op zondag 26 maart 2023 @ 22:24:
@kevi-n1 wat was het verbruik? Naar welke slot precies heb je verplaatst, Er zijn meerdere? De theorie hier dat een (willekeurige) card in 1st PCI slot (PEG) laat de CPU package niet naar zuiniger stand.
Als je powertop draait, wat is de laagste package C-state?

@andru123 Ik krijg de Pkg (Hw) niet lager dan C2 met alles aangesloten.

mrmrmr schreef op zondag 26 maart 2023 @ 22:50:
@andru123
Dit is een bijzonder moederbord, het is een zeer zuinig Fujitsu bord van de Skylake (6e/7e) generatie. Het is niet representatief voor alle merken en soorten moederborden omdat het bijzonder power management heeft.

@kevi-n1
Staan de disks stil tijdens de meting van 12,4W?

@mrmrmr de 3,5" schijven zijn inderdaad in idle. Met schijven actief wegens een volgens unraid "unclean shutdown" met als gevolg een pariteit controle schommelt het verbruik tussen de 35W en de 45W.

[campr112]

RobertMe schreef op zaterdag 18 maart 2023 @ 09:13:
[...]

Het kan beter zijn om hardware in het BIOS altijd aan te laten staan. Als je het uit zet ziet het OS de hardware niet en is er ook helemaal geen aansturing van. Laat je het aan staan ziet het OS deze wel en kan het OS / drivers de hardware ook "uit" zetten wat efficiënter kan zijn dan "helemaal niet aansturen".

Heb het geprobeerd, maakt geen verschil.

[Mars Warrior]

Ik heb weer wat cijfertjes, waarvan ik dacht "Leuk om te vermelden"...

Als eerste een grafiek met een sterk wisselend verbruik: dit is het effect als je een Terminal window in Ubuntu Desktop laat openstaan terwijl het scherm in slaap is. Dit blijkt dus onevenredig vermogen te kosten.

Aan het einde zie je het verbruik even zakken (ik ben weer ingelogged), daarna stijgen voor 2 minuten (een snapraid sync die toch wel ruim 1W neemt) en daarna weer zakken onder de 2W.

Dus weer wat geleerd: laat geen terminals open staan!

Overigens zie ik dit vreemde verbruik niet als ik een remote terminal vanaf mijn desktop heb open staan.

---

Hieronder zie je Crashplan die vanaf 04u een verificatie van de backup doet en daar rond 06u weer mee klaar is. Deze verificatie en upload van gewijzigde bestanden duurt dus ca 2 uur.

De Crashplan container draait nu op de 4 E-cores en verbruikt ca 5.5-6W package power gedurende deze 2 uur. Dat is over een jaar genomen €1,73 met een stroomprijs van 40 cent / kWh. Het verbruik uit het stopcontact is natuurlijk nog ff hoger, maar zelfs als dat verdubbeld, dan gaat het nog steeds over een laag bedrag

In dit geval gebruikt Crashplan 100% van één enkele E-core. Het vreemde is dat Crashplan namelijk nog denkt dat deze onder Windows draait, en ik een maximale belasting kan instellen tussen de 0 en 100%. In Linux termen is dat 1 core, in Windows termen 20 cores in dit geval.

Ik ga nog kijken wat het verbruik is (en de backup tijd) op een P-core, maar dat zullen details zijn als ik die €1,73 / jaar ff meeneem...



Op mijn vorige server verbruikte Crashplan faktoren meer (10-20W) en deed er ook veeeeel langer over, soms wel 20 uur! Of dat komt door het verschil Windows / Ubuntu of doordat ik nu een groot aantal kleine backup sets heb ingesteld ipv één grote weet ik niet.

Ben in ieder geval blij met dit resultaat.

---

Doordat Crashplan en Snapraid op dit ogenblik heel erg meevallen qua verbruik, blijkt dat het minimale idle verbruik toch weer het belangrijkste is voor het overall verbruik.

Tot nu toe zit het idle verbruik met de nodige containers nog steeds onder de 2W Package Power.
Uit het stopcontact onder de 10W met deze belasting en inmiddels 3x 2.5" 4TB schijven aangesloten.

De schijven (2x data, 1x parity) gaan nog niet naar slaap. De data schijven worden wakker gehouden door Minio die elke x-sec een of andere check doet. De parity schijf wordt maar 1x per dag een paar minuten gebruikt, dus die moet zeker naar slaap kunnen de rest van de dag.