Het grote zuinige server topic - deel 3

[ScarAce1989]

Die K3843-B2 µATX ziet er wel interessant uit. Ten opzichte van de K3843-B µATX zie ik dat er 2 SATA, 2 DIMMs en 2 DPP zijn weggelaten. Ik neem aan dat dit ten gunste komt van het verbruik en de prijs?

Klopt het dat ik in de PCIe slots dan een uitbreiding kan doen naar 6 SATA en een 10G NIC?

[bjp]

straffe bordjes! Met SODIMM geheugen, wat degelijke aansluitingen waaronder reeks M.2... De CPU heeft zelf een NPU (zou nog handig voor Frigate zijn bijvoorbeeld). Feitelijk een laptop combo (dus vermoedelijk zuinig) in een mini-ITX bord.

Ik heb al een laptop met een Core 7 Ultra 165H, en dat ding is zuinig _en_ snel. Spijtig genoeg is deze van het werk, maar zou volgens mij nog een leuke server kunnen zijn.


Ik vrees wel wat voor de prijs

[ Voor 4% gewijzigd door bjp op 19-12-2024 10:29 ]

[Ankh]

Zijn er nog alternatieve / goede 2,5" 4/5TB disken beschikbaar? Of nog steeds die Seagate nemen?

[RobertMe]

Ankh schreef op donderdag 19 december 2024 @ 12:16:
Zijn er nog alternatieve / goede 2,5" 4/5TB disken beschikbaar? Of nog steeds die Seagate nemen?

Volgens mij maakt alleen Seagate deze. In ieder geval als je wilt shucken. Want de WD 2,5" externe HDDs zit er direct een USB aansluiting op het PCB.

En denk dat de markt hiervoor aan het uitsterven is. Enige nadeel van SSD is de prijs. Maar productie zal makkelijker zijn, snelheid is veel hoger, schokbestendig / kan tegen een stootje. En uiteraard niet vergeten dat de Seagates wel 2,5" zijn maar dikker dan traditionele 2,5" HDDs waardoor ze bv niet zo snel te gebruiken zouden zijn in een laptop, of small formfactor PC. Daar zijn ze dan te dik voor. Immers komt die extra TBs uit een extra platter die dus ook ruimte in beslag neemt. Data dichtheid per platter is gelijk aan de andere modellen.

[Mich]

ScarAce1989 schreef op donderdag 19 december 2024 @ 10:03:
Die K3843-B2 µATX ziet er wel interessant uit. Ten opzichte van de K3843-B µATX zie ik dat er 2 SATA, 2 DIMMs en 2 DPP zijn weggelaten. Ik neem aan dat dit ten gunste komt van het verbruik en de prijs?

Klopt het dat ik in de PCIe slots dan een uitbreiding kan doen naar 6 SATA en een 10G NIC?

Veel zuiniger kan het bord al niet worden (minder dan 3W idle). Misschien wat goedkoper ja.

[FireDrunk]

Mich schreef op donderdag 19 december 2024 @ 13:26:
[...]
Veel zuiniger kan het bord al niet worden (minder dan 3W idle). Misschien wat goedkoper ja.

Heb je daar een bronnetje van?

[Mars Warrior]

FireDrunk schreef op donderdag 19 december 2024 @ 13:56:
[...]
Heb je daar een bronnetje van?

Huh? De K3843-B staat er toch om bekend zelfs met een RM550x een watt of 3 te doen idle?

Maar of het weglaten van 2 DRAM slots en 2 SATA slots ook maar iets doet met het idle verbruik dat geloof ik niet. Het zal eerder kostentechnisch zijn voor hun klanten die zoveel RAM en SATA niet nodig hebben...

[Mich]

FireDrunk schreef op donderdag 19 december 2024 @ 13:56:
[...]

Heb je daar een bronnetje van?

Er zijn zat gepinde posts die je er op kan naslaan

[ScarAce1989]

Als ik de K3843-B2 wil bestellen kost mij dat €269,- per stuk. Ik had toch wel een lagere prijs verwacht aangezien de K3843-B €189,- kost.

[Mars Warrior]

ScarAce1989 schreef op donderdag 19 december 2024 @ 17:14:
Als ik de K3843-B2 wil bestelen kost mij dat €269,- per stuk. Ik had toch wel een lagere prijs verwacht aangezien de K3843-B €189,- kost.

Je voelt je "bestolen" als ik het goed begrijp met die prijs (even goed nalezen wat je schrijft... )

[ScarAce1989]

@Mars Warrior haha klopt.

[mrmrmr]

K3843-B2 (F5110-V188) kost ongeveer 12 euro minder bruto (ex BTW, ex korting) bij distributeurs. Qua materiaal maakt het nauwelijks een verschil. Ik zie overigens geen reden om een B2 versie te bestellen, ook qua verbruik maakt het niet of nauwelijks verschil.

[RedRayMann]

Eindelijk al mijn speelgoed binnen!

#	Category	Product	Prijs	Subtotaal
1	Behuizing	Hardkernel H4 Case Type 3	€ 31,-	€ 31,-
2	Harde schijven	Seagate Expansion Portable Drive (2021) 5TB Zwart	€ 70,-	€ 140,-
1	Geheugen intern	Corsair Vengeance CMSX32GX5M1A4800C40	€ 65,-	€ 65,-
1	Voeding	Hardkernel Hard Kernel 15V/4A Power Supply - EU Plug	€ 15,50	€ 15,50
2	SSD's	Samsung 870 QVO 8TB	€ 300,-	€ 600,-
1	SSD's	WD SN520 M.2 80mm 256GB	€ 0,-	€ 0,-
1	Singleboardcomputers	Hardkernel ODROID H4+	€ 180,-	€ 180,-
4	Kabels	Odroid SATA Data and Power Cable	€ 8,50	€ 34,-
Bekijk collectie Importeer producten			Totaal	€ 1.065,50

Idee is om 2x 8TB ssd als "actieve" disks te gebruiken en 1x de hdd als actieve/ locale backup
De ander hdd is reserve of eventueel offsite backup dmv een RPi3B+

Nu maar kijken wat ik de komende tijd aan de praat krijg omdat dit type server (Linux, Proxmox, TrueNas e.d.) nieuw is.

Mijn idee is eerst alleen de NVME en een simpele Linux om mee te spelen en te kijken wat het verbruik is.

Daarna Proxmox op de NVME met;
LXC1 - Home Assistant
LXC2 - Unifi Controller, PiHole, VPN
LXC3 - Misschien Docker met was kleine programma's om ook met Docker te leren werken

En dan moet er in de toekomst ook nog een foto beheer, media beheer, "Google Drive"-ish iets als OwnCloud/alternatief en Paperless ducoment beheer op komen.
2025 gaat veel nerder worden en veel vragen stellen hier (en andere specifieke) topics.

Zin in!

[ Voor 11% gewijzigd door RedRayMann op 19-12-2024 22:19 ]

[FireDrunk]

Mich schreef op donderdag 19 december 2024 @ 15:32:
[...]


Er zijn zat gepinde posts die je er op kan naslaan

Ah vreemd, ik zag niet zoveel in de zoekfunctie, misschien foutje gemaakt..
Ik zie nu de mooie post van mrmrmr en de 2.8W. Das een mooi resultaat inderdaad!

[ScarAce1989]

Oké. Dit is nu het lijstje waar ik aan begonnen ben.

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Core i5-13500 Boxed	€ 226,65	€ 226,65
1	Moederborden	Kontron K3843-B	€ 189,-	€ 189,-
1	Behuizingen	Fractal Design Node 804	€ 109,50	€ 109,50
1	Geheugen intern	Crucial CT2K32G48C40U5	€ 170,55	€ 170,55
1	Voedingen	be quiet! Pure Power 12 M 550W	€ 91,41	€ 91,41
1	SSD's	Lexar NM790 (met heatsink) 2TB	€ 140,40	€ 140,40
			Totaal	€ 927,51

Inmiddels is de behuizing binnen en het moederbord besteld. Qua geheugen kan ik dit setje uitvoering: Corsair Vengeance CMK64GX5M2A4800C40 van een vriend overnemen voor €50,-

Is dat een goed alternatief voor de Crucial?

[Mars Warrior]

ScarAce1989 schreef op vrijdag 20 december 2024 @ 18:45:
Oké. Dit is nu het lijstje waar ik aan begonnen ben.

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Core i5-13500 Boxed	€ 226,65	€ 226,65
1	Moederborden	Kontron K3843-B	€ 189,-	€ 189,-
1	Behuizingen	Fractal Design Node 804	€ 109,50	€ 109,50
1	Geheugen intern	Crucial CT2K32G48C40U5	€ 170,55	€ 170,55
1	Voedingen	be quiet! Pure Power 12 M 550W	€ 91,41	€ 91,41
1	SSD's	Lexar NM790 (met heatsink) 2TB	€ 140,40	€ 140,40
			Totaal	€ 927,51

Inmiddels is de behuizing binnen en het moederbord besteld. Qua geheugen kan ik dit setje uitvoering: Corsair Vengeance CMK64GX5M2A4800C40 van een vriend overnemen voor €50,-

Is dat een goed alternatief voor de Crucial?

Corsair Vengeance werkt op het Kontron mobo. Ik heb er de 5200 versie in zitten. Met 2 latjes doet die 4800 en met meer gaat het naar de 4000.

[B2]

mrmrmr schreef op zaterdag 14 december 2024 @ 21:28:
[...]


Als je geen RAID gebruikt heb je genoeg aan minder disks en is het verbruik veel lager, ook omdat je dan een zuinigere voeding hebt.

Ik loop hier toch wel een beetje mee vast. Mijn huidige NUC(7) draait nu een container setup met wat kritische containers (HomeAssistant, DNS, HomeBridge, Bitwarden) en wat minder kritische (Plex, Nzbget, Sonarr etc).

Vooral de laatste gebruiken veel opslag, op dit moment werk ik met 2 usb disks van 6 en 5TB. Deze zitten bijna vol, maar zorgen ook voor een fragmentatie. Ene soort media staat op disk1, de andere op disk2. Verwachting is dat dit ook aardig door zal groeien, ik ben niet zo van het weggooien

Met een Raid vorm (mdadm of zfs) zou ik met 4 disks een aardige slag kunnen slaan naar bv 60TB als ik 20TB schijven gebruik en zorg ik ervoor dat ik niet alles kwijt ben als een disk uitvalt. Dat raid geen backup is snap ik. Ik begrijp ook dat dit minder zuinig is omdat meerdere disks opspinnen bij een write actie, maar hoe zou je het dan doen?

Het veelgebruikte Kontron bordje heeft ook maar 2 sata poorten. Welk bordje is aan te raden als ik 4 of meer sata poorten wil? Of komt het dan op bv asm1166 uitbreidingsbordjes neer? Daar lees ik ook minder goede verhalen over qua verbruik en betrouwbaarheid.

Daarbij speel ik ook nog met de gedachte om een aparte NAS en een apart systeem te gaan gebruiken voor containers of vm's. Stiekem zat ik daardoor ook nog naar de Ugreen DXP4800 Plus te kijken (met bv TrueNas erop), maar die is weer erg onzuinig (+30W idle verbruik)

[RobertMe]

B2 schreef op zaterdag 21 december 2024 @ 17:16:
Daarbij speel ik ook nog met de gedachte om een aparte NAS en een apart systeem te gaan gebruiken voor containers of vm's. Stiekem zat ik daardoor ook nog naar de Ugreen DXP4800 Plus te kijken (met bv TrueNas erop), maar die is weer erg onzuinig (+30W idle verbruik)

Wellicht is de WTR Pro die hier een aantal keren voorbij is gekomen ook interessant? Met 3,2W verbruik zonder disks toch ook wel erg zuinig (en ook 4 disks + 2x M.2 NVME).

[Mars Warrior]

B2 schreef op zaterdag 21 december 2024 @ 17:16:
[...]


Ik loop hier toch wel een beetje mee vast. Mijn huidige NUC(7) draait nu een container setup met wat kritische containers (HomeAssistant, DNS, HomeBridge, Bitwarden) en wat minder kritische (Plex, Nzbget, Sonarr etc).

Vooral de laatste gebruiken veel opslag, op dit moment werk ik met 2 usb disks van 6 en 5TB. Deze zitten bijna vol, maar zorgen ook voor een fragmentatie. Ene soort media staat op disk1, de andere op disk2. Verwachting is dat dit ook aardig door zal groeien, ik ben niet zo van het weggooien

Met een Raid vorm (mdadm of zfs) zou ik met 4 disks een aardige slag kunnen slaan naar bv 60TB als ik 20TB schijven gebruik en zorg ik ervoor dat ik niet alles kwijt ben als een disk uitvalt. Dat raid geen backup is snap ik. Ik begrijp ook dat dit minder zuinig is omdat meerdere disks opspinnen bij een write actie, maar hoe zou je het dan doen?

Het veelgebruikte Kontron bordje heeft ook maar 2 sata poorten. Welk bordje is aan te raden als ik 4 of meer sata poorten wil? Of komt het dan op bv asm1166 uitbreidingsbordjes neer? Daar lees ik ook minder goede verhalen over qua verbruik en betrouwbaarheid.

Daarbij speel ik ook nog met de gedachte om een aparte NAS en een apart systeem te gaan gebruiken voor containers of vm's. Stiekem zat ik daardoor ook nog naar de Ugreen DXP4800 Plus te kijken (met bv TrueNas erop), maar die is weer erg onzuinig (+30W idle verbruik)

Gewoon MergerFS gebruiken. Die pleurt de data op de disk met de meeste ruimte. Applicaties zien maar één disk, dus dat lost je probleem al meteen op.
Het is geen raid, dus zuinig, want enkel de disk met de gewenste data draait.

Uitbreiden is ook simpel. Disk erbij, mapjes aanmaken en klaar.

Wil je wat meer zekerheid, en de data is redelijk statisch dan kun je ook Snapraid overwegen. Kost wel 1 disk extra natuurlijk. Als je snapraid bijv elk uur draait dan zal deze ook snel klaar zijn.

[Jerie]

Ik gebruik wel 2x NVMe in RAID1. De kans dat beiden tegelijk stuk gaan is laag. Als dat wel plaats zou vinden, wil ik snel kunnen vervangen en geen downtime als direct gevolg van een stukke drive. Daarnaast kan de resilver online plaatsvinden.

Voor een backup server echter, zou ik minder strenge eisen hebben, tenzij je die als failover in wilt kunnen zetten.

[B2]

RobertMe schreef op zaterdag 21 december 2024 @ 17:50:
[...]

Wellicht is de WTR Pro die hier een aantal keren voorbij is gekomen ook interessant? Met 3,2W verbruik zonder disks toch ook wel erg zuinig (en ook 4 disks + 2x M.2 NVME).

Dat is zeker wat ja! Voor alleen de NAS taak zou de N100 ook prima voldoen denk ik.

Mars Warrior schreef op zaterdag 21 december 2024 @ 18:06:
[...]

Gewoon MergerFS gebruiken. Die pleurt de data op de disk met de meeste ruimte. Applicaties zien maar één disk, dus dat lost je probleem al meteen op.
Het is geen raid, dus zuinig, want enkel de disk met de gewenste data draait.

Uitbreiden is ook simpel. Disk erbij, mapjes aanmaken en klaar.

Wil je wat meer zekerheid, en de data is redelijk statisch dan kun je ook Snapraid overwegen. Kost wel 1 disk extra natuurlijk. Als je snapraid bijv elk uur draait dan zal deze ook snel klaar zijn.

Ok, hier moet ik eens naar kijken, ken het niet. Wat is het voordeel van MergerFS t.o.v. een LVM volume group met ext4?

[ Voor 42% gewijzigd door B2 op 21-12-2024 18:44 ]

[Mars Warrior]

B2 schreef op zaterdag 21 december 2024 @ 18:38:
[...]


Dat is zeker wat ja! Voor alleen de NAS taak zou de N100 ook prima voldoen denk ik.


[...]


Ok, hier moet ik eens naar kijken, ken het niet. Wat is het voordeel van MergerFS t.o.v. een LVM volume group met ext4?

https://chatgpt.com/share...cc-800e-8b51-f08d01a74648

[Travee]

Voor de mensen die de Aoostar WTR Pro of de GEM12 aangeschaft hebben: je kunt de wifi-module ombouwen naar een 2230 of 2242 M.2 NVMe. Je hebt een M2 Key A/E naar NVME adapter nodig.
Bij mij werd het 30 mm kaartje meteen herkend. In dat slot krijg ik nu 881.71 MB/sec.

[ Voor 9% gewijzigd door Travee op 22-12-2024 03:32 ]

[ScarAce1989]

B2 schreef op zaterdag 21 december 2024 @ 17:16:
[...]


Ik loop hier toch wel een beetje mee vast. Mijn huidige NUC(7) draait nu een container setup met wat kritische containers (HomeAssistant, DNS, HomeBridge, Bitwarden) en wat minder kritische (Plex, Nzbget, Sonarr etc).

Vooral de laatste gebruiken veel opslag, op dit moment werk ik met 2 usb disks van 6 en 5TB. Deze zitten bijna vol, maar zorgen ook voor een fragmentatie. Ene soort media staat op disk1, de andere op disk2. Verwachting is dat dit ook aardig door zal groeien, ik ben niet zo van het weggooien

Met een Raid vorm (mdadm of zfs) zou ik met 4 disks een aardige slag kunnen slaan naar bv 60TB als ik 20TB schijven gebruik en zorg ik ervoor dat ik niet alles kwijt ben als een disk uitvalt. Dat raid geen backup is snap ik. Ik begrijp ook dat dit minder zuinig is omdat meerdere disks opspinnen bij een write actie, maar hoe zou je het dan doen?

Het veelgebruikte Kontron bordje heeft ook maar 2 sata poorten. Welk bordje is aan te raden als ik 4 of meer sata poorten wil? Of komt het dan op bv asm1166 uitbreidingsbordjes neer? Daar lees ik ook minder goede verhalen over qua verbruik en betrouwbaarheid.

Daarbij speel ik ook nog met de gedachte om een aparte NAS en een apart systeem te gaan gebruiken voor containers of vm's. Stiekem zat ik daardoor ook nog naar de Ugreen DXP4800 Plus te kijken (met bv TrueNas erop), maar die is weer erg onzuinig (+30W idle verbruik)

Volgens mij heeft dat Kontron bordje 4 SATA.

[mrmrmr]

B2 schreef op zaterdag 21 december 2024 @ 17:16:
Ik loop hier toch wel een beetje mee vast. Mijn huidige NUC(7) draait nu een container setup met wat kritische containers (HomeAssistant, DNS, HomeBridge, Bitwarden) en wat minder kritische (Plex, Nzbget, Sonarr etc).

Vooral de laatste gebruiken veel opslag, op dit moment werk ik met 2 usb disks van 6 en 5TB. Deze zitten bijna vol, maar zorgen ook voor een fragmentatie. Ene soort media staat op disk1, de andere op disk2. Verwachting is dat dit ook aardig door zal groeien, ik ben niet zo van het weggooien

Externe disks via USB aansluiten is normaal gesproken tamelijk onzuinig, maar voor één doel is het wel heel geschikt: het tijdelijk aansluiten voor het maken van backups. De tijd dat het aan hoeft te staan is miniem ten opzichte van het verbruik van een interne SATA disk die draait.

Het veelgebruikte Kontron bordje heeft ook maar 2 sata poorten. Welk bordje is aan te raden als ik 4 of meer sata poorten wil? Of komt het dan op bv asm1166 uitbreidingsbordjes neer? Daar lees ik ook minder goede verhalen over qua verbruik en betrouwbaarheid.

De K3843-B (versie 1x) heeft 4x SATA zoals bijna alle normale moederborden. Als er meer aansluitingen zijn gebeurd dat via een extra SATA controller, die - je raad het al - extra verbruikt. Ook een ASM1166 chip zou ik zo veel mogelijk vermijden, behalve in externe tijdelijk aangesloten units.

Daarbij speel ik ook nog met de gedachte om een aparte NAS en een apart systeem te gaan gebruiken voor containers of vm's. Stiekem zat ik daardoor ook nog naar de Ugreen DXP4800 Plus te kijken (met bv TrueNas erop), maar die is weer erg onzuinig (+30W idle verbruik)

Ik heb een Ugreen 50422 "USB3.0 3.5 Inch Hard Drive Enclosure" die doorgaans uit staat. Nogal slecht qua verbruik voor altijd aan, want het verbruikt wel veel meer dan een intern op de Intel controller aangesloten HDD. Wel goed is dat de voeding als het uit staat een zeer laag sluipverbruik heeft (0,1W AC).
Het verbruik met een Toshiba MG09 18TB disk is circa 9,4W (6,6-9,7W AC). Standby met spin down 1,3W AC. Van belang hier is dat spindown mogelijk is, d.w.z. dat niets de schijf benadert gedurende x minuten (x is circa 5-15 minuten?). De disk zelf verbruikt 4,16W DC in idle volgens fabrikant Toshiba.

Chinese systemen verbruiken typisch (veel) meer dan we gewend zijn van zuinige systemen. Sommige Odroid typen van Zuid-Koreaanse producent Hardkernel zijn wel zuinig. Kijk onder de knop gepinde posts voor nog meer geteste systemen.

[RedRayMann]

Heb vanavond met mijn Odroid H4+ gespeeld.
@manusjevanalles heeft ongeveer de zelfde setup.

Heb geprobeerd alles zo compleet mogelijk te noteren voor toekomstige tweakers met de Odroid H4+

TL;DR
Verbruik is nu ongeveer 4,4 a 5,5Watt gemiddeld tijdens het spelen met uitschieters naar 10W
TL;DR update
Ben met onderstaande info tot 3w/3,5w/6w gekomen

Mijn test setup;

#	Category	Product
1	Singleboardcomputers	Hardkernel ODROID H4+
1	Voeding	Hardkernel Hard Kernel 15V/4A Power Supply - EU Plug
1	Geheugen intern	Corsair Vengeance CMSX32GX5M1A4800C40
1	SSD's	WD SN520 M.2 80mm 256GB
Bekijk collectie Importeer producten

OS: Proxmox Virtual Environment 8.3.2 (nog geen containers)
Accessoires; USB Toetsenbord, Netwerk (1x, linker poort), HDMI kabel
Meet apparatuur; Tuya Zigbee 3.0 PowerPlug ivm Home Assistant


BIOS Tweaks
Chipset > PCH-IO configuration > SCS configuration > eMMC 5.1 controller -> Disabled

Onderstaand uitgevoerd met dank aan @Satom (Satom in "Het grote zuinige server topic - deel 3")
(bron)

Advanced > Power & Performance > CPU Power Management Control

Boot performance=Max Battery
Turbo Mode: Disabled
View/Configure Turbo Options:
Power Limit 1 Override=Enabled

Power Limit 1=6000

Power Limit 2 Override=Enabled

Power Limit 2=12000

Platform PL1=Enable
Platform PL1 Power=5000
Advanced > Power & Performance > GT Power Management Control

RC6 (render standby)=Disabled
Maximum GT Frequency=550Mhz
Disable Turbo GT Frequency=Disabled
Boot

Setup Prompt Timeout=3
Fast Boot=Disabled
Boot Mode=UEFI
Chipset > PCH-IO Configuration

State after G3=S0 state (Auto Power ON settings if the power is lost during normal operation)

Software Tweaks
In /etc/default/grub staat al standaard dit "GRUB_CMDLINE_LINUX_DEFAULT="quiet" (zie verder bij To Do)
Proxmox Post install script (bron)
Proxmox CPU Scaling Govener (bron)
Dubbel check met cat /sys/devices/system/cpu/cpu0/cpufreq/scaling_governor (resultaat Powersave)
Install Powertop 2.14 (2.15 werkt niet icm Proxmox)
Powertop --auto-tune gedaan maar dan lijkt de console vast te lopen.

code:

           Pkg(OS)  |            CPU(OS) 0
POLL        0.0%    | POLL        0.0%    0.0 ms
C1E         0.2%    | C1E         0.2%    0.3 ms
C6          0.2%    | C6          0.6%    0.8 ms
C8          0.4%    | C8          0.0%    0.0 ms
C10        93.5%    | C10        98.7%   99.7 ms

                    |            CPU(OS) 1
                    | POLL        0.0%    0.0 ms
                    | C1E         0.5%    0.5 ms
                    | C6          0.2%    0.6 ms
                    | C8          0.3%    0.6 ms
                    | C10        98.6%   52.4 ms

                    |            CPU(OS) 2
                    | POLL        0.0%    0.0 ms
                    | C1E         0.0%    0.0 ms
                    | C6          0.0%    0.0 ms
                    | C8          0.7%    1.1 ms
                    | C10        77.4%   34.0 ms

                    |            CPU(OS) 3
                    | POLL        0.0%    0.0 ms
                    | C1E         0.0%    0.0 ms
                    | C6          0.0%    0.0 ms
                    | C8          0.7%    1.2 ms
                    | C10        98.4%   52.3 ms

Powertop Tunables

code:

>> Bad           Enable SATA link power management for host2                                          
   Bad           Enable SATA link power management for host3
   Bad           Enable SATA link power management for host0
   Bad           Enable SATA link power management for host1
   Bad           NMI watchdog should be turned off
   Bad           VM writeback timeout
   Bad           Autosuspend for USB device USB Keyboard [SIGMACHIP]
   Bad           Runtime PM for PCI Device Intel Corporation Ethernet Controller I226-V
   Bad           Runtime PM for PCI Device Intel Corporation Platform Monitoring Technology
   Bad           Runtime PM for PCI Device Sandisk Corp WD Blue SN500 / PC SN520 NVMe SSD
   Bad           Runtime PM for PCI Device Intel Corporation Alder Lake-N PCH Shared SRAM
   Bad           Runtime PM for PCI Device Intel Corporation Device 4678
   Bad           Runtime PM for PCI Device Intel Corporation Alder Lake-N SPI (flash) Controller
   Bad           Runtime PM for PCI Device Intel Corporation Device 467e
   Bad           Runtime PM for PCI Device Intel Corporation Ethernet Controller I226-V
   Bad           Runtime PM for port ata3 of PCI device: ASMedia Technology Inc. ASM1064 Serial ATA Co
   Bad           Runtime PM for port ata4 of PCI device: ASMedia Technology Inc. ASM1064 Serial ATA Co
   Bad           Runtime PM for port ata1 of PCI device: ASMedia Technology Inc. ASM1064 Serial ATA Co
   Bad           Runtime PM for port ata2 of PCI device: ASMedia Technology Inc. ASM1064 Serial ATA Co
   Bad           Runtime PM for PCI Device ASMedia Technology Inc. ASM1064 Serial ATA Controller
   Bad           Runtime PM for PCI Device Intel Corporation Alder Lake-N PCH eSPI Controller
   Good          Enable Audio codec power management
   Good          Runtime PM for I2C Adapter i2c-9 (i915 gmbus tc6)
   Good          Runtime PM for I2C Adapter i2c-0 (SMBus I801 adapter at efa0)
   Good          Runtime PM for I2C Adapter i2c-2 (i915 gmbus dpb)
   Good          Runtime PM for I2C Adapter i2c-4 (i915 gmbus tc1)
   Good          Runtime PM for I2C Adapter i2c-8 (i915 gmbus tc5)
   Good          Runtime PM for I2C Adapter i2c-1 (i915 gmbus dpa)
   Good          Runtime PM for I2C Adapter i2c-3 (i915 gmbus dpc)
   Good          Runtime PM for I2C Adapter i2c-7 (i915 gmbus tc4)
   Good          Runtime PM for I2C Adapter i2c-5 (i915 gmbus tc2)
   Good          Runtime PM for I2C Adapter i2c-6 (i915 gmbus tc3)
   Good          Autosuspend for USB device xHCI Host Controller [usb1]
   Good          Autosuspend for USB device xHCI Host Controller [usb2]
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N PCH USB 3.2 xHCI Host Contro
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N SMBus
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N [UHD Graphics]
   Good          Runtime PM for PCI Device Intel Corporation Device 54be
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N PCH High Definition Audio Co
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N PCI Express Root Port
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N Serial IO UART Host Controll
   Good          Runtime PM for PCI Device Intel Corporation Device 54bb
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N PCH HECI Controller
   Good          Runtime PM for PCI Device Intel Corporation Device 54ba

To-Do
In de startpost staat dat je consoleblank=15 moet toevoegen. Maakt dit veel verscheel uit?
Nog een keer de BIOS doorlopen om te kijken wat ik kan verbeteren
ASPM Tuning script proberen Church of Noise in "Het grote zuinige server topic - deel 3"
Powertop Auto-tune aan de praat krijgen (zie melding hieronder)
Onderzoeken of Powertop 2.15 alsnog werkt onder Proxmox

code:

root@pve:~# powertop --auto-tune 
modprobe cpufreq_stats failedLoaded 0 prior measurements
Cannot load from file /var/cache/powertop/saved_parameters.powertop
File will be loaded after taking minimum number of measurement(s) with battery only 
RAPL device for cpu 0
RAPL Using PowerCap Sysfs : Domain Mask d
RAPL device for cpu 0
RAPL Using PowerCap Sysfs : Domain Mask d
Devfreq not enabled
glob returned GLOB_ABORTED
Cannot load from file /var/cache/powertop/saved_parameters.powertop
File will be loaded after taking minimum number of measurement(s) with battery only 
Leaving PowerTOP

--edit--
Heb het systeem aan gelaten vanacht.
Usb toetsenbord en hdmi verwijderd.
Min 3 watt
Avr 3,5 watt
Max 6 watt

Nieuwe to do

• Powertop 2.15 installeren mrmrmr in "Het grote zuinige server topic - deel 3"
• Powertop --autotune draaien met 2 netwerkkabels manusjevanalles in "Het grote zuinige server topic - deel 3"
• Powertop dump maken
• Kijken hoe ik dit werkend krijg na startup met één netwerkkabel
• consoleblank=15 toevoegen
• Nog een rondje door de bios

[ Voor 3% gewijzigd door RedRayMann op 22-12-2024 08:42 ]

[mrmrmr]

@RedRayMann Je kan met powertop 2.15 de settings "dumpen" zodat je een setting eruit kan halen die een probleem triggert: powertop --auto-tune-dump. Misschien is de I226-V netwerkchip de oorzaak, zie meldingen in dit topic over i225/i226. Het probleem wordt hier en bij de kernel aangekaart.

De meldingen die je ziet in de output zijn geen probleem.

consoleblank kan inderdaad het verbruik laten dalen met Watts, dit zorgt ervoor dat de monitor in standby gaat en dat het signaal naar de monitor wordt gestopt. Dus de gpu wordt in low power mode gezet.

Ik zie ook een ASM1064 chip die voor 4x SATA wordt gebruikt. Dat verhindert een extreem laag verbruik. De package C state en core C states zien er prima uit, kan niet beter.

[ Voor 11% gewijzigd door mrmrmr op 22-12-2024 00:35 ]

[RedRayMann]

mrmrmr schreef op zondag 22 december 2024 @ 00:32:
@RedRayMann Je kan met powertop 2.15 de settings "dumpen" zodat je een setting eruit kan halen die een probleem triggert: powertop --auto-tune-dump. Misschien is de I226-V netwerkchip de oorzaak, zie meldingen in dit topic over i225/i226. Het probleem wordt hier en bij de kernel aangekaart.

De meldingen die je ziet in de output zijn geen probleem.

consoleblank kan inderdaad het verbruik laten dalen met Watts, dit zorgt ervoor dat de monitor in standby gaat en dat het signaal naar de monitor wordt gestopt. Dus de gpu wordt in low power mode gezet.

Ik zie ook een ASM1064 chip die voor 4x SATA wordt gebruikt. Dat verhindert een extreem laag verbruik. De package C state en core C states zien er prima uit, kan niet beter.

Tnx voor je snelle reactie, zeker op dit tijdstip
2.15 krijg ik niet eens aan de praat/geinstalleerd. Kan ook mijn beperkte kennis zijn. Ga dat later nogmaals proberen.

Heb net 2x Powertop --configure gedaan, de eerste keer werkte, de tweede keer liep alles weer vast. Dus ga binnenkort maar kijken naar een dump of eventueel 2.15 werkend krijgen.

En de consoleblank, moet die 15 erachter? In de toekomst komt de server in de meterkast zonder scherm.

Ik doe zo een reboot en laat hem een nachtje aan, ben benieuwd of hij zakt als ik er vanaf blijft of dat de 4,5 a 5,5 watt het minimum is.

[mrmrmr]

RedRayMann schreef op zondag 22 december 2024 @ 00:41:
2.15 krijg ik niet eens aan de praat/geinstalleerd. Kan ook mijn beperkte kennis zijn. Ga dat later nogmaals proberen.

Powertop 2.15 (uit 2023) https://filebin.net/qferwoz9kcatou8u
gecompileerd op/voor Debian 12.

Bij een foutmelding over libtracefs, installeer dan deze packages:
apt install libtracefs1 libtracefs-dev libtraceevent1 libtraceevent-dev

opdrachtregel met powertop in de huidige directory:
./powertop --auto-tune-dump

Als het niet lukt geef dan de output op het scherm.

En de consoleblank, moet die 15 erachter? In de toekomst komt de server in de meterkast zonder scherm.

'15' betekent 15 seconden. Het duurt hier 15 seconden zonder keyboard input voordat het scherm uit gaat. Het mag ook een ander getal zijn boven nul. 15 seconden is een redelijk minimum, maar bijvoorbeeld 60 kan ook.

Ik doe zo een reboot en laat hem een nachtje aan, ben benieuwd of hij zakt als ik er vanaf blijft of dat de 4,5 a 5,5 watt het minimum is.

Ik verwacht dat het nog lager kan met meer low power settings aan.

[ Voor 27% gewijzigd door mrmrmr op 22-12-2024 05:36 ]

[andru123]

@RedRayMann als je de 2de network port verbind met een router, gaat de powertop autotune werken zonder vastlopen, vermoed ik.

[RedRayMann]

mrmrmr schreef op zondag 22 december 2024 @ 00:48:
[...]


Powertop 2.15 (uit 2023) https://filebin.net/qferwoz9kcatou8u
gecompileerd op/voor Debian 12.

Bij een foutmelding over libtracefs, installeer dan deze packages:
apt install libtracefs1 libtracefs-dev libtraceevent1 libtraceevent-dev

opdrachtregel met powertop in de huidige directory:
./powertop --auto-tune-dump

Als het niet lukt geef dan de output op het scherm.

Dank voor je moeite!
De Libteace* packages heb ik al, zag inderdaad dat die miste.
Nu kijken wanneer ik weer tijd heb om te spelen.

Misschien is de I226-V netwerkchip de oorzaak, zie meldingen in dit topic over i225/i226. Het probleem wordt hier en bij de kernel aangekaart.

Iets met bomen en het bos. Heb de topics gisteren wel gezien maar niet gerealiseerd dat dit het probleem was van de vastlopers.

Ik verwacht dat het nog lager kan met meer low power settings aan.

Heb het systeem aan gelaten vanacht.
Usb toetsenbord en hdmi verwijderd.
Min 3 watt
Avr 3,5 watt
Max 6 watt

andru123 schreef op zondag 22 december 2024 @ 02:01:
@RedRayMann als je de 2de network port verbind met een router, gaat de powertop autotune werken zonder vastlopen, vermoed ik.

Tnx voor de heads up. Dit "wist" ik!
Maar niet toegepast!
Heb al zoveel topics gelezen dat sommige dingen op de achtergrond zijn geraakt.

[ Voor 14% gewijzigd door RedRayMann op 22-12-2024 08:21 ]

[manusjevanalles]

RedRayMann schreef op zondag 22 december 2024 @ 08:19:
[...]

Dank voor je moeite!
De Libteace* packages heb ik al, zag inderdaad dat die miste.
Nu kijken wanneer ik weer tijd heb om te spelen.


[...]

Iets met bomen en het bos. Heb de topics gisteren wel gezien maar niet gerealiseerd dat dit het probleem was van de vastlopers.


[...]

Heb het systeem aan gelaten vanacht.
Usb toetsenbord en hdmi verwijderd.
Min 3 watt
Avr 3,5 watt
Max 6 watt


[...]

Tnx voor de heads up. Dit "wist" ik!
Maar niet toegepast!
Heb al zoveel topics gelezen dat sommige dingen op de achtergrond zijn geraakt.

Ik haal vergelijkbare resultaten, met Adguard in een XLC, VM met Ubuntu server met daarin docker, en TrueNAS.

Het ligt inderdaad aan de I-226’s, powertop autotune kan je alleen draaien als in beide ethernetpoorten een kabel is aangesloten, anders loopt hij vast. Als je maar 1 ethernetpoort wilt gebruiken, dan kan je geen autotune draaien, en dan moet je zelf een script maken waarin alle settings van powertop staan, behalve die voor de NIC’s.

Ik ga vandaag m’s oude server uitschakelen en de nieuwe server in productie nemen. Ik gebruik een p1->usb en een modbus->usb, ben benieuwd of dat het verbruik nog significant nadelig beinvloedt.

Ik haal vergelijkbare resultaten qua verbruik. @mrmrmr welke powersettings zouden voor een nog lager verbruik kunnen zorgen?

[ Voor 11% gewijzigd door manusjevanalles op 22-12-2024 08:43 ]

[RedRayMann]

manusjevanalles schreef op zondag 22 december 2024 @ 08:24:
[...]


Het ligt inderdaad aan de I-226’s, powertop autotune kan je alleen draaien als in beide ethernetpoorten een kabel is aangesloten, anders loopt hij vast. Als je maar 1 ethernetpoort wilt gebruiken, dan kan je geen autotune draaien, en dan moet je zelf een script maken waarin alle settings van powertop staan, behalve die voor de NIC’s.

Ik haal vergelijkbare resultaten qua verbruik. @mrmrmr welke powersettings zouden voor een nog lager verbruik kunnen zorgen?

Tnx! Heb jij eerst 2 kabels aangesloten en daarna een dump en een aangepast script?
Mijn doel is uiteindelijk één netwerkkabel.

Nieuwe to do

• Powertop 2.15 installeren mrmrmr in "Het grote zuinige server topic - deel 3"
• Powertop --autotune draaien met 2 netwerkkabels manusjevanalles in "Het grote zuinige server topic - deel 3"
• Powertop dump maken
• Kijken hoe ik dit werkend krijg na startup

En wat eerdere puntjes :-)

[ Voor 3% gewijzigd door RedRayMann op 22-12-2024 08:37 ]

[manusjevanalles]

RedRayMann schreef op zondag 22 december 2024 @ 08:37:
[...]

Tnx! Heb jij eerst 2 kabels aangesloten en daarna een dump en een aangepast script?
Mijn doel is uiteindelijk één netwerkkabel.

Nieuwe to do

• Powertop 2.15 installeren mrmrmr in "Het grote zuinige server topic - deel 3"
• Powertop --autotune draaien met 2 netwerkkabels manusjevanalles in "Het grote zuinige server topic - deel 3"
• Powertop dump maken
• Kijken hoe ik dit werkend krijg na startup

En wat eerdere puntjes :-)

Je kan een dump maken zonder dat de netwerkkabels zijn aangesloten (volgens mij), zie hier. Het script met daarin alle commando’s wordt als service bij elke (her)start uitgevoerd.

[mrmrmr]

manusjevanalles schreef op zondag 22 december 2024 @ 08:24:
Ik haal vergelijkbare resultaten qua verbruik. @mrmrmr welke powersettings zouden voor een nog lager verbruik kunnen zorgen?

Nog aanwezige 'bad' settings zichtbaar in powertop, dus voordat powertop --auto-tune succesvol is uitgevoerd.

Voor degenen die I226 op 'bad' laten staan: werkt auto-tune wel goed wanneer de I226-V vast ingesteld staat op 1 Gbps?

Consoleblank is met name nodig als er nog geen GUI met xset actief is. Sommige GUI installaties zorgen zelf voor in slaapstand gaan van het scherm met xset of een andere tool. Dan heeft consoleblank misschien niet veel effect meer.

Consoleblank moet worden geactiveerd in grub, zie topic start voor hoe dat werkt bij Debian.

[andru123]

Wat ik doe met niet gebruikte port: (korte) kabel erin, EEE aan en netwerk speed op 10mbit zetten. Dat levert voor mij groter besparing dan de netwerk port gewoon “negeren”. Maar ik heb andere systemen, dat zit toch anders bij mij.

[FireDrunk]

Zijn er hier mensen met de gouden tip voor een nieuwe moederbord?

Ik zoek een zuinig nieuw bordje omdat mijn Fujitsu D3644-B met i3-8100 niet genoeg PCIe heeft.

Ik wil eigenlijk een (zuinige) GPU plaatsen, maar heb daar de lanes niet voor.

Ik heb eigenlijk 4 PCIe sloten nodig.
2 voor SSDs, 1 voor een extra NIC en 1 dus voor een GPU.

Als ik in de pricewatch kijk, blijkt dat best lastig.

Ik zou best naar een Xeon Silver ofzo willen gaan, maar idle power zal dan ruimschoots verdubbelen t.o.v. de 30-35w die ik nu heb.

Ik zou in theorie toekunnen met alleen een x16 slot, als het moederbord 2x2.5Gb en 3xM.2 onboard heeft. Maar dat hebben alleen de allerduurste gaming planken.

En die zijn natuurlijk niet zuinig.

[Jerie]

FireDrunk schreef op maandag 23 december 2024 @ 07:56:
Zijn er hier mensen met de gouden tip voor een nieuwe moederbord?

Ik zoek een zuinig nieuw bordje omdat mijn Fujitsu D3644-B met i3-8100 niet genoeg PCIe heeft.

Ik wil eigenlijk een (zuinige) GPU plaatsen, maar heb daar de lanes niet voor.

Ik heb eigenlijk 4 PCIe sloten nodig.
2 voor SSDs, 1 voor een extra NIC en 1 dus voor een GPU.

Als ik in de pricewatch kijk, blijkt dat best lastig.

Ik zou best naar een Xeon Silver ofzo willen gaan, maar idle power zal dan ruimschoots verdubbelen t.o.v. de 30-35w die ik nu heb.

Ik zou in theorie toekunnen met alleen een x16 slot, als het moederbord 2x2.5Gb en 3xM.2 onboard heeft. Maar dat hebben alleen de allerduurste gaming planken.

En die zijn natuurlijk niet zuinig.

Waarom wil je een GPU plaatsen? Is een on-board GPU niet goed genoeg?

Wat voor snelheden wil je halen met je SSDs? Je kunt gewoon uitrekenen hoeveel bandbreedte je hebt voor je SSDs. Wellicht kun je met een x16 en dan een x4 slot al meer dan genoeg (of het fysiek ook genoeg is, is de vraag). Dan werk je gewoon met PCIe bifurcatie of een PCIe switch. Dat laatste kost wel extra W, en dat is dan weer minder voor het zuinige aspect.

[FireDrunk]

Jerie schreef op maandag 23 december 2024 @ 10:08:
[...]


Waarom wil je een GPU plaatsen? Is een on-board GPU niet goed genoeg?

Wat voor snelheden wil je halen met je SSDs? Je kunt gewoon uitrekenen hoeveel bandbreedte je hebt voor je SSDs. Wellicht kun je met een x16 en dan een x4 slot al meer dan genoeg (of het fysiek ook genoeg is, is de vraag). Dan werk je gewoon met PCIe bifurcatie of een PCIe switch. Dat laatste kost wel extra W, en dat is dan weer minder voor het zuinige aspect.

Ik wil met LLM's aan de slag in HomeAssistant, en wil daar een RTX1070 voor gebruiken.
Daarnaast heb ik 4Gb internet, en moeten de SSD's dus ~1.6GB per seconde per stuk aan kunnen. 400MB/s inkomende data, 400MB/s vorige data lezen tbv uitpakken, 400MB/s uitpakken van de data, 400MB/s lezen tbv transfer naar andere pool.

Bifurcatie zou wel iets helpen. Mijn huidige bord support x8/x4/x4 als beste bifurcatie, dat zou iets helpen, maar niet voor de GPU.

Heb nu 2 Corsair MP400 2TB SSD's in een ZFS mirror, dat houdt het net bij.

[RobertMe]

FireDrunk schreef op maandag 23 december 2024 @ 10:37:
Daarnaast heb ik 4Gb internet, en moeten de SSD's dus ~1.6GB per seconde per stuk aan kunnen. 400MB/s inkomende data, 400MB/s vorige data lezen tbv uitpakken, 400MB/s uitpakken van de data, 400MB/s lezen tbv transfer naar andere pool.

offtopic:
Volgens mij bedoel je "wil" en niet "moet" . Dat je van die 4Gbit/s internet gebruik wilt maken, sure (maar ook dan, is het echt nodig? ). Maar waarom ook weer op "volle snelheid" uitpakken en lezen? Klinkt bij mij als de usecase "torrent / usenet", en ik denk niet dat je met "400MByte/s" doet kijken, 24/7. Sterker nog, blurays komen maar zelden boven die 100Mbit/s. Dus dan moet je er al 32 tegelijkertijd kijken.

[Jerie]

PCIe 4 is full duplex (of eigenlijk dual simplex). Dus een PCIe 4.0 x1 kan 2 GB/sec. Aan de PCIe slot zelf zou het dus niet moeten liggen. Daarnaast is PCIe 4 x8 16 GB/sec. Dat is echt erg veel voor spelen met LLM of hashcat, maar dat soort geintjes kosten wel W.

Ik denk dat je uit komt te zoeken wat goedkoper is versus langetermijn kosten / verkoop tweedehands:

1) Bifurcation (8x 4x 4x idd gezien maar twee NVMe). PCIe Bifurcation kaartjes kosten niets en gebruiken ook nagenoeg niets.

2) PCIe switch (reken zo'n 5-10W extra). Met een PLX zit je dan qua bandbreedte met een efficiënt systeem. Want bijvoorbeeld PCIe 4 x4 zul je met PLX 8 GB/sec saturaten over al je NVMe devices. Deze thread op STT heeft veel info en voorbeelden https://forums.servetheho...rcation.31172/post-288487

3) Nieuw systeem met meer lanes.

4) Grotere NVMe. Bijvoorbeeld 2x zo groot met in ZFS 2x aantal kopieën.

Als je trouwens constant 400 MB/sec schrijft dan gaat je consumergrade NVMe dat niet leuk vinden. Kun je beter een enterprise nemen, neem dan meteen een fatsoenlijke met PLP (caps) dan kun je met gerust hart ook write cache gebruiken.

Ik zou eerst voor #1 gaan en als dat niet voldoet zou je #2 kunnen onderzoeken. Ik zou ook eerder voor #4 gaan dan #3. Voordeel van nieuwere hardware is dat het vaak zuiniger/efficiënter is maar je hebt nu al een zuinig moederbord, dus wees er blij mee.

[RobertMe]

Jerie schreef op maandag 23 december 2024 @ 12:27:
4) Grotere NVMe. Bijvoorbeeld 2x zo groot met in ZFS 2x aantal kopieën.

Dat levert toch niet echt wat op? Want als die disk dan uit valt dan zijn je twee kopieën nog steeds weg. Valt 1 disk in de mirror uit behoudt je de data wel. En gezien performance blijkbaar een hard criterium is kost het opslaan van 2 kopieën ook gewoon snelheid, met lezen. Immers heeft ZFS bij een mirror de keuze van welke disk hij gaat lezen, bij 1 disk met 2 kopieën is die keuze er uit. Dus zeker bij 2 "threads" die tegelijkertijd van verschillende bestanden lezen kan ZFS ook 2 drives volledig belasten op volle snelheid, bij 1 drive met 2 kopieën van elk bestand blijft er nog steeds maar de maximale snelheid van 1 disk over.

ZFS configureren om overal 2, 3, ... kopieën van op te slaan helpt dus alleen tegen bad sectors / bit flips / .... Terwijl, zeker bij SSDs, het risico op totaal verlies mij groter lijkt.

[Jerie]

RobertMe schreef op maandag 23 december 2024 @ 12:45:
[...]

Dat levert toch niet echt wat op? Want als die disk dan uit valt dan zijn je twee kopieën nog steeds weg. Valt 1 disk in de mirror uit behoudt je de data wel. En gezien performance blijkbaar een hard criterium is kost het opslaan van 2 kopieën ook gewoon snelheid, met lezen. Immers heeft ZFS bij een mirror de keuze van welke disk hij gaat lezen, bij 1 disk met 2 kopieën is die keuze er uit. Dus zeker bij 2 "threads" die tegelijkertijd van verschillende bestanden lezen kan ZFS ook 2 drives volledig belasten op volle snelheid, bij 1 drive met 2 kopieën van elk bestand blijft er nog steeds maar de maximale snelheid van 1 disk over.

ZFS configureren om overal 2, 3, ... kopieën van op te slaan helpt dus alleen tegen bad sectors / bit flips / .... Terwijl, zeker bij SSDs, het risico op totaal verlies mij groter lijkt.

Goh ik dacht ik post 'ns iets voor de opportunististen die geven om de kleinste besparingen qua W maar nee, helaas toch weer niet goed.

Voor totaal verlies heb je backups. Een mirrored RAID doe je vooral omdat je availability wilt nodig hebt (de thuisgebruiker heeft dat doorgaans niet nodig ). Dus (nagenoeg) geen downtime. Het gaat iets meer kosten omdat je steeds parity moet berekenen. Ook kan een grotere NVMe 2x zoveel writes (en vaak ook snelheid en durability) aan, dus daar ligt het niet aan. Qua energie gaat het zuiniger zijn.

Slaat de bliksem in en oeps alles stuk, tja dan ben je de sigaar, maar dat is ook bij een mirror het geval hoor. Een mirror is GEEN backup! Een mirror doe je omdat je availability nodig hebt (of denkt te hebben). Als je het netjes wilt doen maak je geregeld backups van je OS zodat je weer snel aan de gang kunt als de NVMe stuk gaat. Daarnaast natuurlijk ook van je data (dat deed je al als het goed is). Data van Usenet en BitTorrent zou ik trouwens niet met prioriteit backuppen. Immers heb je al een backup: in de cloud

[dcm360]

Jerie schreef op maandag 23 december 2024 @ 13:15:
[...]


Goh ik dacht ik post 'ns iets voor de opportunististen die geven om de kleinste besparingen qua W maar nee, helaas toch weer niet goed.

Voor totaal verlies heb je backups. Een mirrored RAID doe je vooral omdat je availability wilt nodig hebt (de thuisgebruiker heeft dat doorgaans niet nodig ). Dus (nagenoeg) geen downtime. Het gaat iets meer kosten omdat je steeds parity moet berekenen. Ook kan een grotere NVMe 2x zoveel writes (en vaak ook snelheid en durability) aan, dus daar ligt het niet aan. Qua energie gaat het zuiniger zijn.

Slaat de bliksem in en oeps alles stuk, tja dan ben je de sigaar, maar dat is ook bij een mirror het geval hoor. Een mirror is GEEN backup! Een mirror doe je omdat je availability nodig hebt (of denkt te hebben). Als je het netjes wilt doen maak je geregeld backups van je OS zodat je weer snel aan de gang kunt als de NVMe stuk gaat. Daarnaast natuurlijk ook van je data (dat deed je al als het goed is). Data van Usenet en BitTorrent zou ik trouwens niet met prioriteit backuppen. Immers heb je al een backup: in de cloud

Maar op welke manier helpt ZFS instellen op 2 kopieën nu in het hele verhaal? Alle writes dubbel doen naar dezelfde SSD is ook wat betreft stroomverbruik niet gratis (en als de SSD's netjes in low power mode gaan waarschijnlijk in dezelfde ordegrootte als een mirror draaien).

[RobertMe]

Jerie schreef op maandag 23 december 2024 @ 13:15:
[...]


Goh ik dacht ik post 'ns iets voor de opportunististen die geven om de kleinste besparingen qua W maar nee, helaas toch weer niet goed.

Voor totaal verlies heb je backups. Een mirrored RAID doe je vooral omdat je availability wilt nodig hebt (de thuisgebruiker heeft dat doorgaans niet nodig ). Dus (nagenoeg) geen downtime. Het gaat iets meer kosten omdat je steeds parity moet berekenen. Ook kan een grotere NVMe 2x zoveel writes (en vaak ook snelheid en durability) aan, dus daar ligt het niet aan. Qua energie gaat het zuiniger zijn.

De grootste besparing is natuurlijk geen mirror en niet dubbel opslaan. Daarom dat ik ook benieuwd ben waartegen "grotere disk met twee kopieën" beschermd dat "kleinere disk met 1 kopie" niet doet. Enige dat ik mij kan indenken is bij HDDs dan bad sectors (ervaring mee) en bij SSDs individuele cellen die stuk zijn (geen ervaring mee). En mogelijk nog wat zware edge cases. Terwijl naar mijn idee totale uitval vaker voor zal komen. Ik heb ook een HDD gehad die niet meer wilde opstarten (fysiek dus, problemen om op toeren te komen of whatever). SSDs kunnen in totaliteit stuk gaan, al dan niet door een brakke firmware. Maar "2 kopieën op 1 drive" beschermd niet tegen die scenarios.

Los dus van de "blikseminslag" etc scenario's waarbij het aannemelijk is dat inderdaad alles stuk is. Daarvoor moet je sowieso een offline of offsite backup hebben.

Persoonlijk zie ik dan ook niet wat "meerdere kopieën" concreet biedt. Voor high availability kun je beter een mirror of raidz gebruiken, dat ja, onzuiniger is, maar én tegen meer scenario's beschermd én hogere lees- en/of schrijfsnelheden oplevert (mirror alleen sneller lezen, raidz sneller lezen en schrijven), maar uiteraard wel een hoger stroomverbruik oplevert. Of je doet gewoon geen mirror / raidz / meerdere kopieën (omdat je toch een backup moet hebben). Persoonlijk heb ik het idee dat "meerdere kopieën op dezelfde disk" maar een zeer marginaal voordeel geeft in bescherming, maar bij schrijven wel een performance nadeel ten opzichte van een enkele kopie (en noch bij lezen noch bij schrijven een performance voordeel ten opzichte van mirror / raidz). En bij 2x zo grote disk" ben je natuurlijk ook om en nabij net zo duur uit als "2x de kleinere" (ok, 4TB SSD naar 8TB SSD doe je volgens mij niet voor de dubbele prijs, dan heb je het eerder over x3 of meer , maar dat is dus nog meer nadeel voor "1 disk maar 2x zo groot met 2 kopieën"). Enige prijsverschil tussen "2 disks in mirror" vs "2x zo grote disk met 2 kopieën" is dan het stroomverbruik, dat waarschijnlijk redelijk klein is (mW in idle), en bij lezen wellicht niet eens veel uit maakt (2 disks die de helft van het werk doen zijn sneller klaar/idle dan 1 disk die het volledige werk moet doen. "Race to idle" dus). Als het puur gaat om zo zuinig mogelijk en availability er niet toe doet is 1 disk met 1 kopie dus zuiniger. Wil je availability dan geeft een mirror veel meer garanties dan 2 kopieën op een 2x zo grote disk voor om en nabij dezelfde, als niet lagere, aanschafprijs en energieverbruik zal het verschil niet heel groot zijn (extra verbruik zit dan voornamelijk in "2x idle", als ze actief zijn is een mirror net zo (on)zuinig doordat die meer werk verzet in dezelfde tijd en dus sneller klaar en dus zuinig is).

[blackmage2v]

RedRayMann schreef op zondag 22 december 2024 @ 08:37:
[...]

Tnx! Heb jij eerst 2 kabels aangesloten en daarna een dump en een aangepast script?
Mijn doel is uiteindelijk één netwerkkabel.

Nieuwe to do

• Powertop 2.15 installeren mrmrmr in "Het grote zuinige server topic - deel 3"
• Powertop --autotune draaien met 2 netwerkkabels manusjevanalles in "Het grote zuinige server topic - deel 3"
• Powertop dump maken
• Kijken hoe ik dit werkend krijg na startup

En wat eerdere puntjes :-)

Ik heb op mijn Odroid H4+ Powertop 2.15 draaien met één kabel. Alles staat in Powertop automatisch op Good, na het draaien van --auto-tune:

code:

PowerTOP 2.15     Overview   Idle stats   Frequency stats   Device stats   Tunables   WakeUp                            


>> Good          VM writeback timeout                                                                                   
   Good          Enable SATA link power management for host3
   Good          Enable SATA link power management for host1
   Good          Enable SATA link power management for host2
   Good          Enable SATA link power management for host0
   Good          Enable Audio codec power management
   Good          NMI watchdog should be turned off
   Good          Runtime PM for I2C Adapter i2c-6 (i915 gmbus tc1)
   Good          Runtime PM for I2C Adapter i2c-7 (i915 gmbus tc2)
   Good          Autosuspend for USB device xHCI Host Controller [usb1]
   Good          Autosuspend for USB device xHCI Host Controller [usb2]
   Good          Runtime PM for I2C Adapter i2c-9 (i915 gmbus tc4)
   Good          Runtime PM for I2C Adapter i2c-0 (SMBus I801 adapter at efa0)
   Good          Runtime PM for I2C Adapter i2c-11 (i915 gmbus tc6)
   Good          Runtime PM for I2C Adapter i2c-8 (i915 gmbus tc3)
   Good          Runtime PM for I2C Adapter i2c-2 (Synopsys DesignWare I2C adapter)
   Good          Runtime PM for I2C Adapter i2c-4 (i915 gmbus dpb)
   Good          Runtime PM for I2C Adapter i2c-1 (Synopsys DesignWare I2C adapter)
   Good          Runtime PM for I2C Adapter i2c-10 (i915 gmbus tc5)
   Good          Runtime PM for I2C Adapter i2c-5 (i915 gmbus dpc)
   Good          Runtime PM for I2C Adapter i2c-3 (i915 gmbus dpa)
   Good          Runtime PM for PCI Device KIOXIA Corporation NVMe SSD
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N PCH Shared SRAM
   Good          Runtime PM for PCI Device Intel Corporation Device 4678
   Good          Runtime PM for PCI Device Intel Corporation Device 54be
   Good          Runtime PM for PCI Device Intel Corporation Device 54e8
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N PCH High Definition Audio Controller
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N Serial IO UART Host Controller
   Good          Runtime PM for PCI Device Intel Corporation Device 54bb
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N SPI (flash) Controller
   Good          Runtime PM for PCI Device Intel Corporation Ethernet Controller I226-V
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N PCH HECI Controller
   Good          Runtime PM for PCI Device Intel Corporation Ethernet Controller I226-V
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N PCH eSPI Controller
   Good          Runtime PM for PCI Device Intel Corporation Device 54e9
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N PCH USB 3.2 xHCI Host Controller
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N SMBus
   Good          Runtime PM for PCI Device Intel Corporation Platform Monitoring Technology
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N PCI Express Root Port
   Good          Runtime PM for PCI Device Intel Corporation Device 467e
   Good          Runtime PM for PCI Device Intel Corporation Device 54ba
   Good          Runtime PM for disk sda
   Good          Runtime PM for disk sdb
   Good          Runtime PM for port ata3 of PCI device: ASMedia Technology Inc. ASM1064 Serial ATA Controller
   Good          Runtime PM for port ata4 of PCI device: ASMedia Technology Inc. ASM1064 Serial ATA Controller
   Good          Runtime PM for port ata1 of PCI device: ASMedia Technology Inc. ASM1064 Serial ATA Controller
   Good          Runtime PM for port ata2 of PCI device: ASMedia Technology Inc. ASM1064 Serial ATA Controller
   Good          Runtime PM for PCI Device ASMedia Technology Inc. ASM1064 Serial ATA Controller
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N [UHD Graphics]

[Jerie]

Bad sectors kan ook gewoon met een NVMe, hoor (zonder dat deze direct volledig is overleden). Vaak genoeg gehad.

Vergeet niet dat deze gebruiker het probleem heeft van gelimiteerde slots. Dus het liefst geen bifurcatie (met daardoor helft verlies performance op primaire PCIe slot waar de GPU zit) of PCIe switch (kost per dag meer W) of nieuwe hardware (hogere initiële kosten). Ik denk dat deze twee NVMe verkopen en dan een nieuwe kopen die 2x zo groot is (en ook PLP heeft) de meest goedkope en zuinige oplossing betreft. Omdat de drie alternatieven duurder zijn of te grote nadelen hebben t.o.v. de eisen. Het grootste verlies is de availability in geval dat een van de twee disks in een mirror dood zou gaan. Nou, om dat te voorkomen zou ik een NVMe nemen die flink wat writes kan, en PLP kan, plus goed koelen (want GPU gaat ook dik blazen bij LLM). Dan kun je daar ook je ZIL en L2ARC op zetten en dan is je data consistent.

[manusjevanalles]

blackmage2v schreef op maandag 23 december 2024 @ 13:47:
[...]


Ik heb op mijn Odroid H4+ Powertop 2.15 draaien met één kabel. Alles staat in Powertop automatisch op Good, na het draaien van --auto-tune:

code:

PowerTOP 2.15     Overview   Idle stats   Frequency stats   Device stats   Tunables   WakeUp                            


>> Good          VM writeback timeout                                                                                   
   Good          Enable SATA link power management for host3
   Good          Enable SATA link power management for host1
   Good          Enable SATA link power management for host2
   Good          Enable SATA link power management for host0
   Good          Enable Audio codec power management
   Good          NMI watchdog should be turned off
   Good          Runtime PM for I2C Adapter i2c-6 (i915 gmbus tc1)
   Good          Runtime PM for I2C Adapter i2c-7 (i915 gmbus tc2)
   Good          Autosuspend for USB device xHCI Host Controller [usb1]
   Good          Autosuspend for USB device xHCI Host Controller [usb2]
   Good          Runtime PM for I2C Adapter i2c-9 (i915 gmbus tc4)
   Good          Runtime PM for I2C Adapter i2c-0 (SMBus I801 adapter at efa0)
   Good          Runtime PM for I2C Adapter i2c-11 (i915 gmbus tc6)
   Good          Runtime PM for I2C Adapter i2c-8 (i915 gmbus tc3)
   Good          Runtime PM for I2C Adapter i2c-2 (Synopsys DesignWare I2C adapter)
   Good          Runtime PM for I2C Adapter i2c-4 (i915 gmbus dpb)
   Good          Runtime PM for I2C Adapter i2c-1 (Synopsys DesignWare I2C adapter)
   Good          Runtime PM for I2C Adapter i2c-10 (i915 gmbus tc5)
   Good          Runtime PM for I2C Adapter i2c-5 (i915 gmbus dpc)
   Good          Runtime PM for I2C Adapter i2c-3 (i915 gmbus dpa)
   Good          Runtime PM for PCI Device KIOXIA Corporation NVMe SSD
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N PCH Shared SRAM
   Good          Runtime PM for PCI Device Intel Corporation Device 4678
   Good          Runtime PM for PCI Device Intel Corporation Device 54be
   Good          Runtime PM for PCI Device Intel Corporation Device 54e8
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N PCH High Definition Audio Controller
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N Serial IO UART Host Controller
   Good          Runtime PM for PCI Device Intel Corporation Device 54bb
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N SPI (flash) Controller
   Good          Runtime PM for PCI Device Intel Corporation Ethernet Controller I226-V
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N PCH HECI Controller
   Good          Runtime PM for PCI Device Intel Corporation Ethernet Controller I226-V
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N PCH eSPI Controller
   Good          Runtime PM for PCI Device Intel Corporation Device 54e9
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N PCH USB 3.2 xHCI Host Controller
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N SMBus
   Good          Runtime PM for PCI Device Intel Corporation Platform Monitoring Technology
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N PCI Express Root Port
   Good          Runtime PM for PCI Device Intel Corporation Device 467e
   Good          Runtime PM for PCI Device Intel Corporation Device 54ba
   Good          Runtime PM for disk sda
   Good          Runtime PM for disk sdb
   Good          Runtime PM for port ata3 of PCI device: ASMedia Technology Inc. ASM1064 Serial ATA Controller
   Good          Runtime PM for port ata4 of PCI device: ASMedia Technology Inc. ASM1064 Serial ATA Controller
   Good          Runtime PM for port ata1 of PCI device: ASMedia Technology Inc. ASM1064 Serial ATA Controller
   Good          Runtime PM for port ata2 of PCI device: ASMedia Technology Inc. ASM1064 Serial ATA Controller
   Good          Runtime PM for PCI Device ASMedia Technology Inc. ASM1064 Serial ATA Controller
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N [UHD Graphics]

Geen vastlopers? Wat gebeurt er als je na het draaien van powertop —auto-tune alleen powertop draait (uit je screenshot maak ik op dat je geen vastlopers hebt dan)? Bij mij loopt hij dan vast als ik maar 1 netwerkkabel heb aangesloten.

[RedRayMann]

blackmage2v schreef op maandag 23 december 2024 @ 13:47:
[...]


Ik heb op mijn Odroid H4+ Powertop 2.15 draaien met één kabel. Alles staat in Powertop automatisch op Good, na het draaien van --auto-tune:

code:

PowerTOP 2.15     Overview   Idle stats   Frequency stats   Device stats   Tunables   WakeUp                            


>> Good          VM writeback timeout                                                                                   
   Good          Enable SATA link power management for host3
   Good          Enable SATA link power management for host1
   Good          Enable SATA link power management for host2
   Good          Enable SATA link power management for host0
   Good          Enable Audio codec power management
   Good          NMI watchdog should be turned off
   Good          Runtime PM for I2C Adapter i2c-6 (i915 gmbus tc1)
   Good          Runtime PM for I2C Adapter i2c-7 (i915 gmbus tc2)
   Good          Autosuspend for USB device xHCI Host Controller [usb1]
   Good          Autosuspend for USB device xHCI Host Controller [usb2]
   Good          Runtime PM for I2C Adapter i2c-9 (i915 gmbus tc4)
   Good          Runtime PM for I2C Adapter i2c-0 (SMBus I801 adapter at efa0)
   Good          Runtime PM for I2C Adapter i2c-11 (i915 gmbus tc6)
   Good          Runtime PM for I2C Adapter i2c-8 (i915 gmbus tc3)
   Good          Runtime PM for I2C Adapter i2c-2 (Synopsys DesignWare I2C adapter)
   Good          Runtime PM for I2C Adapter i2c-4 (i915 gmbus dpb)
   Good          Runtime PM for I2C Adapter i2c-1 (Synopsys DesignWare I2C adapter)
   Good          Runtime PM for I2C Adapter i2c-10 (i915 gmbus tc5)
   Good          Runtime PM for I2C Adapter i2c-5 (i915 gmbus dpc)
   Good          Runtime PM for I2C Adapter i2c-3 (i915 gmbus dpa)
   Good          Runtime PM for PCI Device KIOXIA Corporation NVMe SSD
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N PCH Shared SRAM
   Good          Runtime PM for PCI Device Intel Corporation Device 4678
   Good          Runtime PM for PCI Device Intel Corporation Device 54be
   Good          Runtime PM for PCI Device Intel Corporation Device 54e8
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N PCH High Definition Audio Controller
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N Serial IO UART Host Controller
   Good          Runtime PM for PCI Device Intel Corporation Device 54bb
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N SPI (flash) Controller
   Good          Runtime PM for PCI Device Intel Corporation Ethernet Controller I226-V
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N PCH HECI Controller
   Good          Runtime PM for PCI Device Intel Corporation Ethernet Controller I226-V
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N PCH eSPI Controller
   Good          Runtime PM for PCI Device Intel Corporation Device 54e9
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N PCH USB 3.2 xHCI Host Controller
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N SMBus
   Good          Runtime PM for PCI Device Intel Corporation Platform Monitoring Technology
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N PCI Express Root Port
   Good          Runtime PM for PCI Device Intel Corporation Device 467e
   Good          Runtime PM for PCI Device Intel Corporation Device 54ba
   Good          Runtime PM for disk sda
   Good          Runtime PM for disk sdb
   Good          Runtime PM for port ata3 of PCI device: ASMedia Technology Inc. ASM1064 Serial ATA Controller
   Good          Runtime PM for port ata4 of PCI device: ASMedia Technology Inc. ASM1064 Serial ATA Controller
   Good          Runtime PM for port ata1 of PCI device: ASMedia Technology Inc. ASM1064 Serial ATA Controller
   Good          Runtime PM for port ata2 of PCI device: ASMedia Technology Inc. ASM1064 Serial ATA Controller
   Good          Runtime PM for PCI Device ASMedia Technology Inc. ASM1064 Serial ATA Controller
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N [UHD Graphics]

Ik loop er nu nog tegen aan dat het mij niet lukt om Powertop 2.15 op mijn Odroid te krijgen.
Heb er na de info van @mrmrmr ook nog niet veel tijd aan gespendeerd moet ik eerder zijn.

--edit--
Als ik de file van @mrmrmr bekijk en de installatie van 2.14 is het waarschijnlijk gewoon de bestanden overschrijven?

--edit--
Yup, was gewoon cp
Powertop 2.15 lijkt te werken. Ik ga kijken wat ik hiermee kan behalen

--edit--

powertop werkt
powertop --auto-tune lijkt iets te doen
powertop werkt niet meer (zwart scherm)
Open nieuw console via Proxmox
powertop blijft niet werken

Nu iets met gezinsleven, dus nerdpet gaat af, vanavond misschien weer.

[ Voor 5% gewijzigd door RedRayMann op 23-12-2024 17:42 ]

[FireDrunk]

RobertMe schreef op maandag 23 december 2024 @ 12:04:
[...]

offtopic:
Volgens mij bedoel je "wil" en niet "moet" . Dat je van die 4Gbit/s internet gebruik wilt maken, sure (maar ook dan, is het echt nodig? ). Maar waarom ook weer op "volle snelheid" uitpakken en lezen? Klinkt bij mij als de usecase "torrent / usenet", en ik denk niet dat je met "400MByte/s" doet kijken, 24/7. Sterker nog, blurays komen maar zelden boven die 100Mbit/s. Dus dan moet je er al 32 tegelijkertijd kijken.

Tja, we willen allemaal ook weinig betalen voor onze server, en maken hem daarom zuinig, dat moet ook niet.
Moeten is relatief. Ik vind het leuk om met een zo laag mogelijk idle verbruik, toch nog best wat leuke dingen te doen. Dat lukt nu al aardig.

Ik gebruik de 4Gb helemaal niet sustained, maar best bursty. Even een game downloaden, oh deze aflevering van deze serie is niet goed, even een nieuwe downloaden. Dat is allemaal klaar terwijl ik wacht. Dat vind ik leuk. Heb ik het nodig, zeker niet.

Jerie schreef op maandag 23 december 2024 @ 12:27:
PCIe 4 is full duplex (of eigenlijk dual simplex). Dus een PCIe 4.0 x1 kan 2 GB/sec. Aan de PCIe slot zelf zou het dus niet moeten liggen. Daarnaast is PCIe 4 x8 16 GB/sec. Dat is echt erg veel voor spelen met LLM of hashcat, maar dat soort geintjes kosten wel W.

Ik denk dat je uit komt te zoeken wat goedkoper is versus langetermijn kosten / verkoop tweedehands:

1) Bifurcation (8x 4x 4x idd gezien maar twee NVMe). PCIe Bifurcation kaartjes kosten niets en gebruiken ook nagenoeg niets.

Er is een bifurcation kaartje onderweg, met dank aan @HyperBart

2) PCIe switch (reken zo'n 5-10W extra). Met een PLX zit je dan qua bandbreedte met een efficiënt systeem. Want bijvoorbeeld PCIe 4 x4 zul je met PLX 8 GB/sec saturaten over al je NVMe devices. Deze thread op STT heeft veel info en voorbeelden https://forums.servetheho...rcation.31172/post-288487

Voor M.2 drives gaat dat nog wel, maar voor andere devices ga je al snel nat. Een GPU en een NIC achter een switch proppen is ondoenbaar qua bekabeling.

3) Nieuw systeem met meer lanes.

Dat speelt ook door mijn hoofd. Mijn i3-8100 is ook al weer ruim 5 jaar oud, dus op zich mag het wel weer een keer. Een beetje meer idle verbruik maakt me ook weer niet super veel uit, als ik er maar wat voor terugkrijg.

4) Grotere NVMe. Bijvoorbeeld 2x zo groot met in ZFS 2x aantal kopieën.

Als je trouwens constant 400 MB/sec schrijft dan gaat je consumergrade NVMe dat niet leuk vinden. Kun je beter een enterprise nemen, neem dan meteen een fatsoenlijke met PLP (caps) dan kun je met gerust hart ook write cache gebruiken.

Ik zou eerst voor #1 gaan en als dat niet voldoet zou je #2 kunnen onderzoeken. Ik zou ook eerder voor #4 gaan dan #3. Voordeel van nieuwere hardware is dat het vaak zuiniger/efficiënter is maar je hebt nu al een zuinig moederbord, dus wees er blij mee.

Grotere NVMe helpt niet echt, het zijn SSD's waar de data tijdelijk op staat zolang deze nog in de download client hangt, daarna gaat ie naar 'cold' storage. Dit zorgt er voor dat mijn harddisks in spindown kunnen.
Daarnaast staan al mijn Docker containers op datzelfde filesystem, zodat wederom de disks in spindown kunnen en ik dus minder bang hoef te zijn dat ik mijn applicatie configuratie kwijt raak als 1 van de 2 SSDs sterft.
(Ja, ik heb ook een offsite backup.)

Zoals in mijn reactie hierboven ook: Ik doe niet vol-continue 400MB/s maar wel met pieken, en dan is het wel handig als het ook werkt zoals ik graag wil dat het werkt

[RedRayMann]

Na de Odroid even uit te hebben gehouden, opnieuw opgestart
Powertop werkt
Powertop --calibrate werkt

code:

>> Bad           VM writeback timeout                                                                 
   Bad           Enable SATA link power management for host3
   Bad           Enable SATA link power management for host1
   Bad           Enable SATA link power management for host2
   Bad           Enable SATA link power management for host0
   Bad           NMI watchdog should be turned off
   Bad           Runtime PM for PCI Device Intel Corporation Device 467e
   Bad           Runtime PM for PCI Device ASMedia Technology Inc. ASM1064 Serial ATA Controller
   Bad           Runtime PM for port ata1 of PCI device: ASMedia Technology Inc. ASM1064 Serial ATA Co
   Bad           Runtime PM for port ata2 of PCI device: ASMedia Technology Inc. ASM1064 Serial ATA Co
   Bad           Runtime PM for port ata3 of PCI device: ASMedia Technology Inc. ASM1064 Serial ATA Co
   Bad           Runtime PM for port ata4 of PCI device: ASMedia Technology Inc. ASM1064 Serial ATA Co
   Bad           Runtime PM for PCI Device Intel Corporation Alder Lake-N PCH eSPI Controller
   Bad           Runtime PM for PCI Device Intel Corporation Ethernet Controller I226-V
   Bad           Runtime PM for PCI Device Intel Corporation Ethernet Controller I226-V
   Bad           Runtime PM for PCI Device Intel Corporation Alder Lake-N SPI (flash) Controller
   Bad           Runtime PM for PCI Device Intel Corporation Device 4678
   Bad           Runtime PM for PCI Device Intel Corporation Alder Lake-N PCH Shared SRAM
   Bad           Runtime PM for PCI Device Sandisk Corp WD Blue SN500 / PC SN520 NVMe SSD
   Bad           Runtime PM for PCI Device Intel Corporation Platform Monitoring Technology
   Good          Enable Audio codec power management
   Good          Runtime PM for I2C Adapter i2c-9 (i915 gmbus tc6)
   Good          Autosuspend for USB device xHCI Host Controller [usb1]
   Good          Autosuspend for USB device xHCI Host Controller [usb2]
   Good          Runtime PM for I2C Adapter i2c-6 (i915 gmbus tc3)
   Good          Runtime PM for I2C Adapter i2c-8 (i915 gmbus tc5)
   Good          Runtime PM for I2C Adapter i2c-5 (i915 gmbus tc2)
   Good          Runtime PM for I2C Adapter i2c-7 (i915 gmbus tc4)
   Good          Runtime PM for I2C Adapter i2c-3 (i915 gmbus dpc)
   Good          Runtime PM for I2C Adapter i2c-1 (i915 gmbus dpa)
   Good          Runtime PM for I2C Adapter i2c-4 (i915 gmbus tc1)
   Good          Runtime PM for I2C Adapter i2c-2 (i915 gmbus dpb)
   Good          Runtime PM for I2C Adapter i2c-0 (SMBus I801 adapter at efa0)
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N PCH USB 3.2 xHCI Host Contro
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N SMBus
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N [UHD Graphics]
   Good          Runtime PM for PCI Device Intel Corporation Device 54be
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N PCH High Definition Audio Co
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N PCI Express Root Port
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N Serial IO UART Host Controll
   Good          Runtime PM for PCI Device Intel Corporation Device 54bb
   Good          Runtime PM for PCI Device Intel Corporation Alder Lake-N PCH HECI Controller
   Good          Runtime PM for PCI Device Intel Corporation Device 54ba

Weinig verschil.


Powertop --auto-tune

code:

root@pve:~# powertop --auto-tune
modprobe cpufreq_stats failed
Loaded 0 prior measurements
Cannot load from file /var/cache/powertop/saved_parameters.powertop
File will be loaded after taking minimum number of measurement(s) with battery only 
RAPL device for cpu 0
RAPL Using PowerCap Sysfs : Domain Mask d
RAPL device for cpu 0
RAPL Using PowerCap Sysfs : Domain Mask d
Devfreq not enabled
glob returned GLOB_ABORTED
Cannot load from file /var/cache/powertop/saved_parameters.powertop
File will be loaded after taking minimum number of measurement(s) with battery only 
Leaving PowerTOP

Powertop werkt niet meer...
Dus moet toch met de dump aan de slag of met twee internet kabels

--edit--
Tweede utp kabel op mijn Unifi Flex Mini switch, tijdens boot knipperen alle ledjes van beide poorten, echter al snel lijkt mijn Unifi systeem poort twee er uit te gooien.
Nogmaals calibate gedaan, geen verschil.

auto-tune, zelfde melding als eerder en een vast loper bij powertop. Dus twee utp kabels lijkt bij mij niet te werken.

[ Voor 4% gewijzigd door RedRayMann op 23-12-2024 19:30 ]

[RobertMe]

FireDrunk schreef op maandag 23 december 2024 @ 17:52:
[...]


Tja, we willen allemaal ook weinig betalen voor onze server, en maken hem daarom zuinig, dat moet ook niet.
Moeten is relatief. Ik vind het leuk om met een zo laag mogelijk idle verbruik, toch nog best wat leuke dingen te doen. Dat lukt nu al aardig.

Ik gebruik de 4Gb helemaal niet sustained, maar best bursty. Even een game downloaden, oh deze aflevering van deze serie is niet goed, even een nieuwe downloaden. Dat is allemaal klaar terwijl ik wacht. Dat vind ik leuk. Heb ik het nodig, zeker niet.

Maar effectief heb je het dan dus over eerst met 4Gbit/s downloaden en daarna uitpakken? Het is dan geen én én meer, zoals je wel de berekening deed.
En met Sonarr / Radarr is de kans wel groot dat een repack, als de origineel f-ed up is, wordt opgepakt. Hoef je ook niet last minute handmatig een nieuwe te zoeken

Vanuit "omdat het kan" snap ik hem trouwens wel hoor Alleen zit je denk ik wel aardig op de limiet van wat kan + zinvol is. Like, ik zou ook mijn 200Mbit/s internet (over coax) kunnen upgraden naar iets van 1Gbit/s. Vindt het niet nodig, maar het begint wel meer en meer standaard (& betaalbaar) te worden. Alles daarboven voelt een beetje "onzinnig", 2,5Gbit/s binnenshuis is nog wel leuk, heel misschien 10Gbit/s " op bepaalde routes" (router is download client, vervolgens nog een "NAS" die veel uit staat en een servertje met SSD voor bv ook dan videobestanden die ik nodig heb, 1Gbit/s transfers zijn dan "traag"). Maar sneller dan 1Gbit/s + volle bak kunnen downloaden + unpacken + ... voelt wel heel erg over the top en wellicht ook beetje "tegen / over de limiet" (waar je nu dus tegenaan loopt doordat aantal PCIe lanes de beperking is).
Zo kwam ik er laatst achter dat mijn router + servertje de NVME maar op 2 lanes hebben, dus "haal de snelheid niet". Toen had ik wel zoiets van "that sucks", intussen ben ik er niet meer mee bezig en vind het wel "prima". Als er iets nieuws komt is het een aandachtspunt, ga er niet voor vervangen " omdat het kan". Zelfde ala dat mass storage op SATA SSDs staat, da's nog trager, maar werkt prima. En de raidz pool in NAS zou ik ook maar iets van 2 á 3Gbit/s dicht mee kunnen trekken.

[FireDrunk]

Ik zie online dat een gpu die als llm dient, geen last heeft van een PCIe x1 slot. Dat zou nog net kunnen als de bifurcation goed werkt.

Moet ik wel de gpu sideways mounten met een riser...

[blackmage2v]

RedRayMann schreef op maandag 23 december 2024 @ 19:09:
Na de Odroid even uit te hebben gehouden, opnieuw opgestart
Powertop werkt
Powertop --calibrate werkt


[...]


Weinig verschil.


Powertop --auto-tune

[...]


Powertop werkt niet meer...
Dus moet toch met de dump aan de slag of met twee internet kabels

--edit--
Tweede utp kabel op mijn Unifi Flex Mini switch, tijdens boot knipperen alle ledjes van beide poorten, echter al snel lijkt mijn Unifi systeem poort twee er uit te gooien.
Nogmaals calibate gedaan, geen verschil.

auto-tune, zelfde melding als eerder en een vast loper bij powertop. Dus twee utp kabels lijkt bij mij niet te werken.

Heb je ASPM aanstaan in je Bios? Dit zijn mijn instellingen:

Chipset > PCH-IO Configuration > PCI Express configuration:

- DMI Link ASPM control --> L0sL1
- PCI Express Root Port 3 --> ASPM auto
- PCI Express Root Port 4 --> ASPM auto
- PCI Express Root Port 7 --> ASPM auto
- PCI Express Root Port 9 --> ASPM auto

Verder heb ik dacht ik ook even lopen spelen en uiteindelijk Powertop 2.14 helemaal verwijderd. Vervolgens 2.15 via Github geïnstalleerd. Maar mogelijk dat bovenstaande misschien ook al een oplossing biedt.

Edit: Overigens voer ik bij opstarten het volgende nog uit:

#Turn off Wake on Lan for enp1s0 & enp2s0
ethtool -s enp1s0 wol d
ethtool -s enp2s0 wol d
#
# Turn off Enp2s0
ip link set enp2s0 down

[ Voor 7% gewijzigd door blackmage2v op 23-12-2024 20:50 ]

[mrmrmr]

RedRayMann schreef op maandag 23 december 2024 @ 17:23:
powertop werkt
powertop --auto-tune lijkt iets te doen
powertop werkt niet meer (zwart scherm)
Open nieuw console via Proxmox
powertop blijft niet werken

Een voordeel van powertop 2.15 is dat het --auto-tune-dump parameter heeft waarme je alle nog niet optimale settings kunt bewaren naar een bestand. Het doet verder niets anders. Vervolgens kun de settings in een script verwerken (executable attribuut aanzetten) en problematische settings uitgeschakeld laten.

Dat script kun je elke keer bij booten laten opstarten. Bijvoorbeeld via crontab, of het script als een service toepassen.

Powertop 2.15 lost voor zover ik weet geen probleem in drivers op, zoals de drivers voor i225/i226. Daarvan is bekend dat er problemen zijn met deze netwerkchips. De drivers kunnen een systeem laten hangen of andere problemen veroorzaken.

---

Intel neemt de tijd om dit eens aan te pakken. De maker van powertop verwijst naar de drivers: https://github.com/fenrus75/powertop/issues/143 . Overigens gaat het hier om een Odroid systeem.

Er is een bugmelding voor de Linux kernel hier: https://bugzilla.kernel.org/show_bug.cgi?id=218499 . De auteurs van Intel drivers werken vaak voor Intel. Intel driverschrijvers moeten waarschijnlijk intern samenwerken met de hardware ontwerpers.

Een mogelijke workaround is het gebruik van het netwerk instellen op 1 Gbps. Tweakers met een Odroid kunnen dat zelf testen: het werkt wel of niet. Ik ben benieuwd naar de uitkomst.

Zo lang dit niet definitief is opgelost zijn Realtek 8125B netwerkchips beter dan I225/i226, als het per se 2.5Gbps moet zijn. Dit probleem is niet aanwezig als hardwarefabrikanten i219-LM of i210 1 Gbps netwerkchips op moederborden gebruiken.

[RedRayMann]

Dank voor deze info.
Kan pas vrijdag weer de bios checken. De k dat ik de instelling gelijk heb.

Was ook nog van plan WOL uit te zetten.
Goed dat dat ook gemeld wordt!
Komt op mijn to do

[Mich]

mrmrmr schreef op maandag 23 december 2024 @ 21:23:
[...]


Een voordeel van powertop 2.15 is dat het --auto-tune-dump parameter heeft waarme je alle nog niet optimale settings kunt bewaren naar een bestand. Het doet verder niets anders. Vervolgens kun de settings in een script verwerken (executable attribuut aanzetten) en problematische settings uitgeschakeld laten.

Dat script kun je elke keer bij booten laten opstarten. Bijvoorbeeld via crontab, of het script als een service toepassen.

Powertop 2.15 lost voor zover ik weet geen probleem in drivers op, zoals de drivers voor i225/i226. Daarvan is bekend dat er problemen zijn met deze netwerkchips. De drivers kunnen een systeem laten hangen of andere problemen veroorzaken.

---

Intel neemt de tijd om dit eens aan te pakken. De maker van powertop verwijst naar de drivers: https://github.com/fenrus75/powertop/issues/143 . Overigens gaat het hier om een Odroid systeem.

Er is een bugmelding voor de Linux kernel hier: https://bugzilla.kernel.org/show_bug.cgi?id=218499 . De auteurs van Intel drivers werken vaak voor Intel. Intel driverschrijvers moeten waarschijnlijk intern samenwerken met de hardware ontwerpers.

Een mogelijke workaround is het gebruik van het netwerk instellen op 1 Gbps. Tweakers met een Odroid kunnen dat zelf testen: het werkt wel of niet. Ik ben benieuwd naar de uitkomst.

Zo lang dit niet definitief is opgelost zijn Realtek 8125B netwerkchips beter dan I225/i226, als het per se 2.5Gbps moet zijn. Dit probleem is niet aanwezig als hardwarefabrikanten i219-LM of i210 1 Gbps netwerkchips op moederborden gebruiken.

Het probleem is gek genoeg ook niet aanwezig bij mijn uitvoering: Intel Ethernet Adapter I226-T1 (bulk) kaart. Daar kan ik powertop draaien zonder vastlopers. Ik had het probleem ooit wel met een i225 die onboard op een mobo zat.

[RobertMe]

Mich schreef op maandag 23 december 2024 @ 22:45:
[...]


Het probleem is gek genoeg ook niet aanwezig bij mijn uitvoering: Intel Ethernet Adapter I226-T1 (bulk) kaart. Daar kan ik powertop draaien zonder vastlopers. Ik had het probleem ooit wel met een i225 die onboard op een mobo zat.

Voor zover ik weet speelt dit probleem alleen als de adapter niet in gebruik is (geen kabel aangesloten). En die kaart heb je vast niet gekocht om geen kabel in te steken Heb je dit dus getest met geen kabel in de poort? (Mogelijk zelfs "kabel uittrekken, herstarten, powertop uitvoeren", zodat mogelijke instellingen die gedaan zijn door wel aangesloten te zijn geweest ongedaan zijn gemaakt).

Op mijn TopTon router (4x i226, 2 in gebruik) heb ik dit issue in ieder geval ook.

[Jazco2nd]

Minisforum verkoopt tegenwoordig dit zeer aantrekkelijk miniscuul PCtje:

Minisforum MS-A1
Voor slechts €289.

Daar kan je maar liefst 4x een M.2 SSD (volwaardige 80mm formaat) in stoppen. Je goedkoopste processor is dan een AMD 8600G tenzij je ergens een AMD 7600 goedkoper kan vinden. De 8600g kan wss zuiniger draaien dan de 7600.

Inclusief 2x16GB ram type 1.1volt zit je dan excl opslag op €289 + 175 + €90 = €554.

Dan heb je echt een zeer klein simpel uitziend dingetje. De vraag is natuurlijk of je hem op Linux ook in lage idle verbruik krijgt, icm het BIOS van Minisforum. AMD heeft aan de laatste Linux kernels ontzettend veel optimalisaties toegevoegd.

Het is erg aantrekkelijk vind ik. Tis dat ik al een server heb. Wel van 2018.. en met een verbruik onder de 8W, maar een upgrade is nog lang niet gerechtvaardigd.

Hier 2 wenslijsten, 1 met de Asus NUC (max 3x opslag waarvan 1 42mm dus max 2TB [=duur]) en 1 met de Minisforum (4x opslag maar voor prijsvergelijking 3x 4TB toegevoegd)..

Bij die laatste moet je nog €289 optellen. Dan is ie €70 duurder momenteel dan de Asus NUC optie maar krijg je wel max 4x 4TB opslag mogelijkheid.


Erg leuk dat je tegenwoordig zulke kleine servers kan maken!

[ Voor 23% gewijzigd door Jazco2nd op 24-12-2024 01:29 ]

[Travee]

Jazco2nd schreef op dinsdag 24 december 2024 @ 01:11:
Minisforum verkoopt tegenwoordig dit zeer aantrekkelijk miniscuul PCtje:

Minisforum MS-A1
Voor slechts €289.

Daar kan je maar liefst 4x een M.2 SSD (volwaardige 80mm formaat) in stoppen. Je goedkoopste processor is dan een AMD 8600G tenzij je ergens een AMD 7600 goedkoper kan vinden. De 8600g kan wss zuiniger draaien dan de 7600.

Inclusief 2x16GB ram type 1.1volt zit je dan excl opslag op €289 + 175 + €90 = €554.

Dan heb je echt een zeer klein simpel uitziend dingetje. De vraag is natuurlijk of je hem op Linux ook in lage idle verbruik krijgt, icm het BIOS van Minisforum. AMD heeft aan de laatste Linux kernels ontzettend veel optimalisaties toegevoegd.

Het is erg aantrekkelijk vind ik. Tis dat ik al een server heb. Wel van 2018.. en met een verbruik onder de 8W, maar een upgrade is nog lang niet gerechtvaardigd.

Hier 2 wenslijsten, 1 met de Asus NUC (max 3x opslag waarvan 1 42mm dus max 2TB [=duur]) en 1 met de Minisforum (4x opslag maar voor prijsvergelijking 3x 4TB toegevoegd)..

Bij die laatste moet je nog €289 optellen. Dan is ie €70 duurder momenteel dan de Asus NUC optie maar krijg je wel max 4x 4TB opslag mogelijkheid.


Erg leuk dat je tegenwoordig zulke kleine servers kan maken!

De Intel-variant van die Minisforum is in Amerika erg populair, maar hij is beduidend minder zuinig dan wat wij Nederlanders graag zouden zien. Dat komt door die 10G NICs denk ik. Ik ben ook erg benieuwd naar de MS-A1. Voorlopig houd ik het echter nog bij mijn 5825U mini pc.

[FireDrunk]

Mijn MS-01 doet 18W met 1 SSD, 1 glas SFP, 1 Koper SFP, en 1 van de 2.5Gb NICs actief. Er draait 1 VM.

Geen topper, maar zeker niet slecht.

[Jazco2nd]

FireDrunk schreef op dinsdag 24 december 2024 @ 06:52:
Mijn MS-01 doet 18W met 1 SSD, 1 glas SFP, 1 Koper SFP, en 1 van de 2.5Gb NICs actief. Er draait 1 VM.

Geen topper, maar zeker niet slecht.

Heb je dan de Intel of AMD? En welk OS?
En zou je misschien het idle verbruik zonder SFP verbindingen, die ene NIC in 1Gbit modus en met de VM gestopt kunnen meten?
Dan is het namelijk een eerlijkere vergelijking met de zuinige systemen die hier voorbij komen..

[Mich]

RobertMe schreef op maandag 23 december 2024 @ 23:15:
[...]

Voor zover ik weet speelt dit probleem alleen als de adapter niet in gebruik is (geen kabel aangesloten). En die kaart heb je vast niet gekocht om geen kabel in te steken Heb je dit dus getest met geen kabel in de poort? (Mogelijk zelfs "kabel uittrekken, herstarten, powertop uitvoeren", zodat mogelijke instellingen die gedaan zijn door wel aangesloten te zijn geweest ongedaan zijn gemaakt).

Op mijn TopTon router (4x i226, 2 in gebruik) heb ik dit issue in ieder geval ook.

Dit was zonder kabel. In twee pc's geprobeerd ook. In eentje laat ik powertop zelfs als script draaien bij het opstarten en ook hier dus geen probleem. Het gaat hier wel om een I226-LM en bij veel anderen is het i226-V. Geen idee wat het verschil is.

code:

03:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-LM (rev 04)
        Subsystem: Intel Corporation Ethernet Controller I226-LM

        Capabilities: [40] Power Management version 3
                Flags: PMEClk- DSI+ D1- D2- AuxCurrent=0mA PME(D0+,D1-,D2-,D3hot+,D3cold+)
                Status: D0 NoSoftRst+ PME-Enable- DSel=0 DScale=1 PME-

                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
                        ExtSynch- ClockPM- AutWidDis- BWInt- AutBWInt-
                LnkSta: Speed 5GT/s, Width x1

        Capabilities: [1e0 v1] L1 PM Substates
                L1SubCap: PCI-PM_L1.2+ PCI-PM_L1.1+ ASPM_L1.2+ ASPM_L1.1+ L1_PM_Substates+
                          PortCommonModeRestoreTime=55us PortTPowerOnTime=70us
                L1SubCtl1: PCI-PM_L1.2- PCI-PM_L1.1- ASPM_L1.2- ASPM_L1.1-
                           T_CommonMode=0us LTR1.2_Threshold=138240ns
                L1SubCtl2: T_PwrOn=70us

[ Voor 28% gewijzigd door Mich op 24-12-2024 10:51 ]

[Mars Warrior]

Mich schreef op dinsdag 24 december 2024 @ 10:51:
[...]


Dit was zonder kabel. In twee pc's geprobeerd ook. In eentje laat ik powertop zelfs als script draaien bij het opstarten en ook hier dus geen probleem. Het gaat hier wel om een I226-LM en bij veel anderen is het i226-V. Geen idee wat het verschil is.

code:

03:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-LM (rev 04)
        Subsystem: Intel Corporation Ethernet Controller I226-LM

        Capabilities: [40] Power Management version 3
                Flags: PMEClk- DSI+ D1- D2- AuxCurrent=0mA PME(D0+,D1-,D2-,D3hot+,D3cold+)
                Status: D0 NoSoftRst+ PME-Enable- DSel=0 DScale=1 PME-

                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
                        ExtSynch- ClockPM- AutWidDis- BWInt- AutBWInt-
                LnkSta: Speed 5GT/s, Width x1

        Capabilities: [1e0 v1] L1 PM Substates
                L1SubCap: PCI-PM_L1.2+ PCI-PM_L1.1+ ASPM_L1.2+ ASPM_L1.1+ L1_PM_Substates+
                          PortCommonModeRestoreTime=55us PortTPowerOnTime=70us
                L1SubCtl1: PCI-PM_L1.2- PCI-PM_L1.1- ASPM_L1.2- ASPM_L1.1-
                           T_CommonMode=0us LTR1.2_Threshold=138240ns
                L1SubCtl2: T_PwrOn=70us

Vziw enkel Intel AMT op de LM variant

[Yariva]

Hey all,

Ik ben de laatste puntjes op de i aan het zetten met mijn nieuwe Unraid NAS build. Ik meet zo rond de 18w met de volgende setup:

Odroid h4 ultra (Intel N305) - uitvoering: Hardkernel ODROID-H4 Ultra
48GB DDR5 plankje - uitvoering: Crucial CT48G56C46S5
2x Artic 140mm FAN - uitvoering: Arctic P14 PWM PST Zwart, 140mm
1x WD Blue 1TB - uitvoering: WD Blue SN580 1TB
1x 64GB USB stick voor Unraid OS - uitvoering: Sandisk Ultra Fit USB 3.1 64GB Zwart
Edit vergeten: ook een zigbee stick voor Home Assistant.

Daarbij zijn wel 2x 18TB schijven down-gespinned (uitvoering: Seagate IronWolf Pro, 18TB (ST18000NT001))

Alles werkt met een externe voeding van 120w. Mocht ik nog 2 schijven erbij kopen heb ik die ruimte wel nodig wanneer alle schijven tegelijk zouden starten (is het idee.) Idle gebruik zal natuurlijk nooit rond die 120w komen.

De setup draait een boel applicaties:

• Home Assistant (Automatisering)
• Adguard (DNS)
• Wireguard (met permanent 1 client verbonden)
• Duplicacy (om op een tijdschema backups te maken)
• Netbox (Infra documentatie)
• Reverse proxy (om alle diensten met een mooi naampje te benaderen + SSL encryptie)
• Unifi controller (Wifi beheer)
• Vaultwarden (Wachtwoord beheer)
• Zabbix agent en server (monitoring)

Al deze applicaties draaien op de 1TB SSD. Er zijn 2 applicaties die ook op de SSD draaien maar zodra deze echt worden gebruikt zullen deze de 18TB schijven up-spinnen.

• Plex
• Verschillende *arr's
• Algemeen: SMB en NFS shares (duh)

Al met al ben ik hier best tevreden mee maar ik ben benieuwd hoe ik het verbruik nog verder naar beneden zou kunnen halen. Tegelijk snap ik ook dat ik niet zuinig ben geweest met de hardware in kwestie. Ik heb al even gekeken naar C states, poortjes en features uitschakelen in de BIOS etc. etc. Maar veel verder dan dit kom ik nu niet meer

[Mars Warrior]

@Yariva , en wat is het verbruik zonder Zabbix?

En dankzij Unraid kunnen natuurlijk niet alle USB controllers in sleep, maar daar is niks aan te doen denk ik.

(Zabbix Agent staat bekend om zijn absurd hoge CPU load namelijk)

[Yariva]

Mars Warrior schreef op dinsdag 24 december 2024 @ 14:08:
@Yariva , en wat is het verbruik zonder Zabbix?

En dankzij Unraid kunnen natuurlijk niet alle USB controllers in sleep, maar daar is niks aan te doen denk ik.

(Zabbix Agent staat bekend om zijn absurd hoge CPU load namelijk)

Ik ben nu niet thuis dus kan helaas niet live mee kijken met de energie meter. Maar ik zal daar eens naar kijken.

Tegelijk werk ik er wel voor de kost veel mee en vind ik het belangrijk dat ik iets van monitoring thuis draai

[Mars Warrior]

Yariva schreef op dinsdag 24 december 2024 @ 14:11:
[...]

Ik ben nu niet thuis dus kan helaas niet live mee kijken met de energie meter. Maar ik zal daar eens naar kijken.

Je energiemeter zit niet in Home Assistant die je van afstand kunt gebruiken en/of via VPN?

Tegelijk werk ik er wel voor de kost veel mee en vind ik het belangrijk dat ik iets van monitoring thuis draai

Het hangt er een beetje vanaf wat dan zo belangrijk is om te monitoren. CPU gebruik, Load, Geheugen, Diskruimte? Alles kun je bijv 1xminuut in Home Assistant inlezen, en daar een alert op zetten.

Ik zou niet weten wat ik verder nog zou moeten monitoren van mijn server. Snapraid doet zijn eigen controles en mailt eventuele afwijkingen, net als Crashplan die de backups remote doet... (Snapraid draait, vandaar de hoge load)



(Ik heb er RAM bijgezet, en dat lijnt niet helemaal lekker uit omdat het nog MiB zijn ipv GiB...)

[RedRayMann]

Yariva schreef op dinsdag 24 december 2024 @ 14:03:
Hey all,

Ik ben de laatste puntjes op de i aan het zetten met mijn nieuwe Unraid NAS build. Ik meet zo rond de 18w met de volgende setup:

Odroid h4 ultra (Intel N305) - uitvoering: Hardkernel ODROID-H4 Ultra
48GB DDR5 plankje - uitvoering: Crucial CT48G56C46S5
2x Artic 140mm FAN - uitvoering: Arctic P14 PWM PST Zwart, 140mm
1x WD Blue 1TB - uitvoering: WD Blue SN580 1TB
1x 64GB USB stick voor Unraid OS - uitvoering: Sandisk Ultra Fit USB 3.1 64GB Zwart
Edit vergeten: ook een zigbee stick voor Home Assistant.

Daarbij zijn wel 2x 18TB schijven down-gespinned (uitvoering: Seagate IronWolf Pro, 18TB (ST18000NT001))

Alles werkt met een externe voeding van 120w. Mocht ik nog 2 schijven erbij kopen heb ik die ruimte wel nodig wanneer alle schijven tegelijk zouden starten (is het idee.) Idle gebruik zal natuurlijk nooit rond die 120w komen.

De setup draait een boel applicaties:

• Home Assistant (Automatisering)
• Adguard (DNS)
• Wireguard (met permanent 1 client verbonden)
• Duplicacy (om op een tijdschema backups te maken)
• Netbox (Infra documentatie)
• Reverse proxy (om alle diensten met een mooi naampje te benaderen + SSL encryptie)
• Unifi controller (Wifi beheer)
• Vaultwarden (Wachtwoord beheer)
• Zabbix agent en server (monitoring)

Al deze applicaties draaien op de 1TB SSD. Er zijn 2 applicaties die ook op de SSD draaien maar zodra deze echt worden gebruikt zullen deze de 18TB schijven up-spinnen.

• Plex
• Verschillende *arr's
• Algemeen: SMB en NFS shares (duh)

Al met al ben ik hier best tevreden mee maar ik ben benieuwd hoe ik het verbruik nog verder naar beneden zou kunnen halen. Tegelijk snap ik ook dat ik niet zuinig ben geweest met de hardware in kwestie. Ik heb al even gekeken naar C states, poortjes en features uitschakelen in de BIOS etc. etc. Maar veel verder dan dit kom ik nu niet meer

Ben nu zelf druk bezig met een H4 +
Nog kaal en alleen Proxmox.
Enkele posts terug (eventueel de laatste gepinde post) heb ik uitgebreid geprobeerd mijn zoektocht met de H4 te documenteren. Misschien heb je er wat aan.

blackmage2v schreef op maandag 23 december 2024 @ 20:46:
[...]


Heb je ASPM aanstaan in je Bios? Dit zijn mijn instellingen:

Chipset > PCH-IO Configuration > PCI Express configuration:

- DMI Link ASPM control --> L0sL1
- PCI Express Root Port 3 --> ASPM auto
- PCI Express Root Port 4 --> ASPM auto
- PCI Express Root Port 7 --> ASPM auto
- PCI Express Root Port 9 --> ASPM auto

Verder heb ik dacht ik ook even lopen spelen en uiteindelijk Powertop 2.14 helemaal verwijderd. Vervolgens 2.15 via Github geïnstalleerd. Maar mogelijk dat bovenstaande misschien ook al een oplossing biedt.

Edit: Overigens voer ik bij opstarten het volgende nog uit:

#Turn off Wake on Lan for enp1s0 & enp2s0
ethtool -s enp1s0 wol d
ethtool -s enp2s0 wol d
#
# Turn off Enp2s0
ip link set enp2s0 down

Heb een half uurtje ruimte voordat ik de kinderen moet ophalen en de kerstdagen in verdwijn :-)
BIOS net bekeken. Staat gelijk.
Heb ook het volgende gevonden;
- Chipset - PCH-IO Configuration - Wake on Lan
Deze stond op enabled, dit heb ik nu op Disabled gezet. Maakt dit verschil uit? Jij via software bij boot en ik via BIOS?

--edit--
Ook wel bijzonder.
In BIOS;
Advanced tabblad - Intel (R) Ethernet Controller I226-V - Linkstatus = [Disconnected]

Bij beide poorten. Terwijl er één poort in gebruik is.

[ Voor 19% gewijzigd door RedRayMann op 24-12-2024 14:32 ]

[Mars Warrior]

RedRayMann schreef op dinsdag 24 december 2024 @ 14:23:
[...]

Ben nu zelf druk bezig met een H4 +
Nog kaal en alleen Proxmox.
Enkele posts terug (eventueel de laatste gepinde post) heb ik uitgebreid geprobeerd mijn zoektocht met de H4 te documenteren. Misschien heb je er wat aan.

Jij komt uit op 3,5W gemiddeld.

Ik vermoed dat @Yariva met disken in idle een paar watt hoger zit in idle. Daarbovenop komt nog de USB Stick. En met mijn ervaring met Zabbix vermoed ik dat die zomaar 50-100% van 1 core pakt afhankelijk van het aantal te meten sensoren. En dan is die 18W niet heel gek...

[Inf1nite]

Dag allen,

Ik heb nog een oude HP microserver N54L in gebruik die nodig aan vervanging toe is en ben op zoek naar een budget vriendelijke en zuinige vervanger voor max 600 euro.

Op de server draai ik oa Home Assistant, AdGuard Home, Immich, Traefik, Wireguard en mijn Unifi controller in Docker containers. Ik zou het ook wel mooi vinden om in de toekomst LLMs te kunnen draaien voor een lokale voice assistent maar ik weet niet hoe realistisch dat is voor dit budget.

Ik zat te denken aan een m.2 SSD met eventueel nog een 2.5" SSD of HDD voor backup. Omdat dit niet veel ruimte inneemt zat ik te kijken naar een ITX bordje met een SFF case. Dit bordje heeft een 19v aansluiting.

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Core i5-12400 Boxed	€ 146,99	€ 146,99
1	Moederborden	ASUS Pro H610T D4-CSM	€ 111,-	€ 111,-
1	Behuizingen	Silverstone Sugo 16 Zwart	€ 74,90	€ 74,90
1	Geheugen intern	Kingston Fury Impact KF432S20IBK2/16	€ 34,04	€ 34,04
			Totaal	€ 366,93

Ik ben benieuwd wat jullie van deze build vinden en of er deze dag betere alternatieven zijn qua CPU/moederbord. Ik zie bijvoorbeeld vaak het Kontron moederbord langs komen, is dat het waard? Ik gebruik al een PicoPSU van 150w dus deze zou ik kunnen hergebruiken.

Alvast bedankt!

[RedRayMann]

Nieuwe to do
Powertop 2.15 installeren mrmrmr in "Het grote zuinige server topic - deel 3"
Powertop --autotune draaien met 2 netwerkkabels manusjevanalles in "Het grote zuinige server topic - deel 3"
Powertop dump maken
Kijken hoe ik dit werkend krijg na startup met één netwerkkabel
consoleblank=15 toevoegen
Nog een rondje door de bios

Heb zojuist dit script gemaakt;

code:

#!/bin/bash

# NMI watchdog should be turned off
echo '0' > '/proc/sys/kernel/nmi_watchdog';

# VM writeback timeout
echo '1500' > '/proc/sys/vm/dirty_writeback_centisecs';

# Enable SATA link power management for host3
echo 'med_power_with_dipm' > '/sys/class/scsi_host/host3/link_power_management_policy';

# Enable SATA link power management for host1
echo 'med_power_with_dipm' > '/sys/class/scsi_host/host1/link_power_management_policy';

# Enable SATA link power management for host2
echo 'med_power_with_dipm' > '/sys/class/scsi_host/host2/link_power_management_policy';

# Enable SATA link power management for host0
echo 'med_power_with_dipm' > '/sys/class/scsi_host/host0/link_power_management_policy';

# Runtime PM for PCI Device Intel Corporation Platform Monitoring Technology
echo 'auto' > '/sys/bus/pci/devices/0000:00:0a.0/power/control';

# Runtime PM for PCI Device Sandisk Corp WD Blue SN500 / PC SN520 NVMe SSD
echo 'auto' > '/sys/bus/pci/devices/0000:04:00.0/power/control';

# Runtime PM for PCI Device Intel Corporation Alder Lake-N PCH Shared SRAM
echo 'auto' > '/sys/bus/pci/devices/0000:00:14.2/power/control';

# Runtime PM for PCI Device Intel Corporation Device 4678
echo 'auto' > '/sys/bus/pci/devices/0000:00:00.0/power/control';

# Runtime PM for PCI Device Intel Corporation Alder Lake-N SPI (flash) Controller
echo 'auto' > '/sys/bus/pci/devices/0000:00:1f.5/power/control';

# Runtime PM for PCI Device Intel Corporation Ethernet Controller I226-V
# echo 'auto' > '/sys/bus/pci/devices/0000:01:00.0/power/control';

# Runtime PM for PCI Device Intel Corporation Ethernet Controller I226-V
# echo 'auto' > '/sys/bus/pci/devices/0000:02:00.0/power/control';

# Runtime PM for PCI Device Intel Corporation Alder Lake-N PCH eSPI Controller
echo 'auto' > '/sys/bus/pci/devices/0000:00:1f.0/power/control';

# Runtime PM for PCI Device Intel Corporation Device 467e
echo 'auto' > '/sys/bus/pci/devices/0000:00:08.0/power/control';

# Runtime PM for port ata3 of PCI device: ASMedia Technology Inc. ASM1064 Serial ATA Controller
echo 'auto' > '/sys/bus/pci/devices/0000:03:00.0/ata3/power/control';

# Runtime PM for port ata4 of PCI device: ASMedia Technology Inc. ASM1064 Serial ATA Controller
echo 'auto' > '/sys/bus/pci/devices/0000:03:00.0/ata4/power/control';

# Runtime PM for port ata1 of PCI device: ASMedia Technology Inc. ASM1064 Serial ATA Controller
echo 'auto' > '/sys/bus/pci/devices/0000:03:00.0/ata1/power/control';

# Runtime PM for port ata2 of PCI device: ASMedia Technology Inc. ASM1064 Serial ATA Controller
echo 'auto' > '/sys/bus/pci/devices/0000:03:00.0/ata2/power/control';

# Runtime PM for PCI Device ASMedia Technology Inc. ASM1064 Serial ATA Controller
echo 'auto' > '/sys/bus/pci/devices/0000:03:00.0/power/control';

Dit is een dump van mijn powertop --auto-tune-dump
Ik heb de twee netwerkpoort regels hierin "uit gezet" met een #

Scrip gedraaid en alles was good op de twee netwerkpoorten na!

Ik zie bij WakeUp nog wel dat WOL 1 en 2, dat ik iets voor de verloren momenten tijdens kerst of voor volgende week.

Iedereen tot nu toe extreem bedankt!

Na een reboot, scrip handmatig gedraaid en dit zijn de resultaten;

Bad Runtime PM for PCI Device Intel Corporation Ethernet Controller I226-V
Bad Runtime PM for PCI Device Intel Corporation Ethernet Controller I226-V
Good Enable SATA link power management for host3
Good VM writeback timeout
Good Enable SATA link power management for host1
Good Enable SATA link power management for host2
Good Enable SATA link power management for host0
Good Enable Audio codec power management
Good NMI watchdog should be turned off
Good Runtime PM for I2C Adapter i2c-3 (i915 gmbus dpc)
Good Runtime PM for I2C Adapter i2c-7 (i915 gmbus tc4)
Good Runtime PM for I2C Adapter i2c-9 (i915 gmbus tc6)
Good Runtime PM for I2C Adapter i2c-2 (i915 gmbus dpb)
Good Runtime PM for I2C Adapter i2c-8 (i915 gmbus tc5)
Good Autosuspend for USB device xHCI Host Controller [usb2]
Good Runtime PM for I2C Adapter i2c-4 (i915 gmbus tc1)
Good Autosuspend for USB device xHCI Host Controller [usb1]
Good Runtime PM for I2C Adapter i2c-0 (SMBus I801 adapter at efa0)
Good Runtime PM for I2C Adapter i2c-6 (i915 gmbus tc3)
Good Runtime PM for I2C Adapter i2c-1 (i915 gmbus dpa)
Good Runtime PM for I2C Adapter i2c-5 (i915 gmbus tc2)
Good Runtime PM for PCI Device ASMedia Technology Inc. ASM1064 Serial ATA Controller
Good Runtime PM for PCI Device Intel Corporation Alder Lake-N SMBus
Good Runtime PM for PCI Device Intel Corporation Platform Monitoring Technology
Good Runtime PM for PCI Device Intel Corporation Device 467e
Good Runtime PM for PCI Device Intel Corporation Device 54ba
Good Runtime PM for port ata3 of PCI device: ASMedia Technology Inc. ASM1064 Serial ATA Controller
Good Runtime PM for port ata4 of PCI device: ASMedia Technology Inc. ASM1064 Serial ATA Controller
Good Runtime PM for port ata1 of PCI device: ASMedia Technology Inc. ASM1064 Serial ATA Controller
Good Runtime PM for port ata2 of PCI device: ASMedia Technology Inc. ASM1064 Serial ATA Controller
Good Runtime PM for PCI Device Intel Corporation Alder Lake-N PCH USB 3.2 xHCI Host Controller
Good Runtime PM for PCI Device Intel Corporation Alder Lake-N PCH HECI Controller
Good Runtime PM for PCI Device Intel Corporation Alder Lake-N [UHD Graphics]
Good Runtime PM for PCI Device Sandisk Corp WD Blue SN500 / PC SN520 NVMe SSD
Good Runtime PM for PCI Device Intel Corporation Alder Lake-N PCH Shared SRAM
Good Runtime PM for PCI Device Intel Corporation Device 54be
Good Runtime PM for PCI Device Intel Corporation Alder Lake-N PCI Express Root Port
Good Runtime PM for PCI Device Intel Corporation Device 4678
Good Runtime PM for PCI Device Intel Corporation Alder Lake-N PCH High Definition Audio Controller
Good Runtime PM for PCI Device Intel Corporation Alder Lake-N Serial IO UART Host Controller
Good Runtime PM for PCI Device Intel Corporation Device 54bb
Good Runtime PM for PCI Device Intel Corporation Alder Lake-N SPI (flash) Controller
Good Runtime PM for PCI Device Intel Corporation Alder Lake-N PCH eSPI Controller[/code]

We gaan de goede kant op!

[FireDrunk]

Jazco2nd schreef op dinsdag 24 december 2024 @ 09:55:
[...]

Heb je dan de Intel of AMD? En welk OS?
En zou je misschien het idle verbruik zonder SFP verbindingen, die ene NIC in 1Gbit modus en met de VM gestopt kunnen meten?
Dan is het namelijk een eerlijkere vergelijking met de zuinige systemen die hier voorbij komen..

Intel i9 met Proxmox. Die metingen doen is best lastig, want het is mijn router.
Volgens mij is het laagste wat ik gezien heb iets van 16w.

[N8w8]

@Jazco2nd, als je vooral klein met veel SSDs wilt; voor de Odroid H4 is er ook n adapter voor 4x M2-NVMe-2280 hier.
Moet wel bij gezegd worden dat de SSDs dan niet harder gaan dan PCIe3x1, maar evengoed leuk.

[ScarAce1989]

Merry Christmas!

Zit toch erg te twijfelen om de uitvoering: Kontron K3843-B te vervangen voor de uitvoering: ASUS TUF Gaming B760M-PLUS II vooral voor de snellere M.2 sloten en 2.5 nic.

Iemand enige ervaring met dit moederbord? Ben wel bekend met ASUS en heb verschillende bordjes gehad, maar heb geen idee hoeveel watt deze meer verbruikt.

[GioStyle]

ScarAce1989 schreef op woensdag 25 december 2024 @ 09:49:
Merry Christmas!

Zit toch erg te twijfelen om de uitvoering: Kontron K3843-B te vervangen voor de uitvoering: ASUS TUF Gaming B760M-PLUS II vooral voor de snellere M.2 sloten en 2.5 nic.

Iemand enige ervaring met dit moederbord? Ben wel bekend met ASUS en heb verschillende bordjes gehad, maar heb geen idee hoeveel watt deze meer verbruikt.

Je kan op die Kontron door middel van adapters nog enkele nvme ssd's toevoegen?

[blackmage2v]

RedRayMann schreef op dinsdag 24 december 2024 @ 14:23:
[...]

Ben nu zelf druk bezig met een H4 +
Nog kaal en alleen Proxmox.
Enkele posts terug (eventueel de laatste gepinde post) heb ik uitgebreid geprobeerd mijn zoektocht met de H4 te documenteren. Misschien heb je er wat aan.


[...]

Heb een half uurtje ruimte voordat ik de kinderen moet ophalen en de kerstdagen in verdwijn :-)
BIOS net bekeken. Staat gelijk.
Heb ook het volgende gevonden;
- Chipset - PCH-IO Configuration - Wake on Lan
Deze stond op enabled, dit heb ik nu op Disabled gezet. Maakt dit verschil uit? Jij via software bij boot en ik via BIOS?

--edit--
Ook wel bijzonder.
In BIOS;
Advanced tabblad - Intel (R) Ethernet Controller I226-V - Linkstatus = [Disconnected]

Bij beide poorten. Terwijl er één poort in gebruik is.

Volgens mij werkte het bij mij niet, als ik via Bios deze uit zette. Vandaar dat ik het via een bootscript heb opgelost. Achteraf werkte het mogelijk wel, gezien er in Bios update 1.04 hier een fix voor is gemaakt. Deze wil ik ergens in de komende tijd installeren en proberen. Laatste versie is 1.06 op dit moment.

RedRayMann schreef op dinsdag 24 december 2024 @ 15:22:
Nieuwe to do
Powertop 2.15 installeren mrmrmr in "Het grote zuinige server topic - deel 3"
Powertop --autotune draaien met 2 netwerkkabels manusjevanalles in "Het grote zuinige server topic - deel 3"
Powertop dump maken
Kijken hoe ik dit werkend krijg na startup met één netwerkkabel
consoleblank=15 toevoegen
Nog een rondje door de bios

Heb zojuist dit script gemaakt;

[...]


Dit is een dump van mijn powertop --auto-tune-dump
Ik heb de twee netwerkpoort regels hierin "uit gezet" met een #

Scrip gedraaid en alles was good op de twee netwerkpoorten na!

Ik zie bij WakeUp nog wel dat WOL 1 en 2, dat ik iets voor de verloren momenten tijdens kerst of voor volgende week.

Iedereen tot nu toe extreem bedankt!

Na een reboot, scrip handmatig gedraaid en dit zijn de resultaten;

[...]


We gaan de goede kant op!

Yes, let's go! Ik ben benieuwd wat je verbruik gaat zijn nu.

[ScarAce1989]

GioStyle schreef op woensdag 25 december 2024 @ 09:55:
[...]


Je kan op die Kontron door middel van adapters nog enkele nvme ssd's toevoegen?

Zeker, maar er moet sowieso een 10gb nic voor verbinding naar Mac en een uitbreiding voor sata in.

Met die uitvoering: ASUS TUF Gaming B760M-PLUS II zou ik volgens mij de 10gb nic aansluiten op de PCI-e 4.0 x4 en de sata uitbreiding op PCI-e 3.0 x1.

Maar nogmaals ben ook benieuwd naar het verbruik.

[Ankh]

Is dit nou de correcte 5tb seagate disk?
https://www.coolblue.nl/s...tm_campaign=product-share

Via de pricewatch gevonden, maar niet dat ik straks een verkeerde 5tb open haal ;-)

[ Voor 22% gewijzigd door Ankh op 25-12-2024 16:44 ]

[Jerie]

ScarAce1989 schreef op woensdag 25 december 2024 @ 13:00:
[...]


Zeker, maar er moet sowieso een 10gb nic voor verbinding naar Mac en een uitbreiding voor sata in.

Met die uitvoering: ASUS TUF Gaming B760M-PLUS II zou ik volgens mij de 10gb nic aansluiten op de PCI-e 4.0 x4 en de sata uitbreiding op PCI-e 3.0 x1.

Maar nogmaals ben ook benieuwd naar het verbruik.

10 gbit NIC full duplex heeft als je die ongeveer (16 gbit) wilt saturaten (beide kanten op) PCIe 3.0 x2 of PCIe 4.0 x1 nodig. Volstaat 8 gbit half duplex dan volstaat PCIe 3.0 x1 ook. SATA 3 is 6 gbit minus overhead, dus met 1 SATA disk is PCIe 3.0 x1 voldoende.

[RedRayMann]

blackmage2v schreef op woensdag 25 december 2024 @ 10:58:
[...]


Volgens mij werkte het bij mij niet, als ik via Bios deze uit zette. Vandaar dat ik het via een bootscript heb opgelost. Achteraf werkte het mogelijk wel, gezien er in Bios update 1.04 hier een fix voor is gemaakt. Deze wil ik ergens in de komende tijd installeren en proberen. Laatste versie is 1.06 op dit moment.


[...]


Yes, let's go! Ik ben benieuwd wat je verbruik gaat zijn nu.

Zit op BIOS 1.06
Was even van de eerste dingen die ik had gedaan na het ontvangen van de H4.
Kijkend naar de afgelopen 24 uur dat hij aan stond;
Meting via HA en een Zigbee plug;
In de diagram van registratie per 5 min lijkt er een rust te komen en piekt hij minder naar 6watt
In de zelfde data maar dan per uur geregistreerd kom ik 2x op een gemiddelde van 3.19watt en 3 pieken van 3,35 watt, 3,32 watt en 3,31 watt.

Erg netjes dus voor een kaal systeem.

Moet het powertop script nog automatisch laten uitvoeren na start en wil ook "handmatige" WOL uitzetten. Maar denk dat ik al op bijna maximaal haalbaar zit.
En kijken als ik het powertop script instel voor de poort mét kabel, of dat iets oplevert. Want blijf hoofdzakelijk de zelfde poort gebruiken.
En daarna kijken of ik poort 2 uit kan zetten of op 10/100mbit kan krijgen.

[mrmrmr]

Ankh schreef op woensdag 25 december 2024 @ 16:44:
Is dit nou de correcte 5tb seagate disk?
https://www.coolblue.nl/s...tm_campaign=product-share

Via de pricewatch gevonden, maar niet dat ik straks een verkeerde 5tb open haal ;-)

Meestal kun je filmpjes op Youtube vinden die hier over gaan. Het type hier is "STKM5000400".
https://www.youtube.com/results?search_query=STKM5000400

De meest recente geeft meer zekerheid. Seagate verkoopt deze drives al jaren in wisselende verpakking. De kans is groot dat er inderdaad dezelfde SATA drive in zit.

[Sethro]

Gokje gewaagd en een HP G5 Prodesk besteld met een I5, 16GB geheugen en NVME schijf erin. Doet 4,8W met verbonden ethernet, Proxmox en HA geïnstalleerd met aantal addins. Mooie stap komende van een 25w server.

[ Voor 19% gewijzigd door Sethro op 26-12-2024 08:27 ]

[andru123]

ScarAce1989 schreef op woensdag 25 december 2024 @ 13:00:
[...]


Zeker, maar er moet sowieso een 10gb nic voor verbinding naar Mac en een uitbreiding voor sata in.

Met die uitvoering: ASUS TUF Gaming B760M-PLUS II zou ik volgens mij de 10gb nic aansluiten op de PCI-e 4.0 x4 en de sata uitbreiding op PCI-e 3.0 x1.

Maar nogmaals ben ook benieuwd naar het verbruik.

Er is niemand die hier dat specifiek model getest. Ik heb Asus B660 die vrij zuinig is (~5W). Andere mensen halen er 5-15W dus vrij groot range.
In je gekozen model lijkt er weinig PCI slots. De PEG x16 slot moet je bij zuinig server niet gebruiken, anders gaat je CPU nooit in idle.
Er zit mischien ook een M.2 WiFi slot onder de heatsink.

[thespeed]

GioStyle schreef op zaterdag 30 november 2024 @ 23:10:
[...]

Ik ben dus voor de AMD versie gegaan en ik heb hem vandaag binnen gekregen.

Barebore: Aoostar WTR Pro (AMD versie)
Geheugen: Crucial CT16G4SFRA32A (2x) (32GB)
SSD: Crucial P3 2TB

Er wordt een 19V6,3A adapter bijgeleverd, maar die is niet erg efficiënt. Ik heb nu tijdelijk een Leicke 12V7,5A gebruikt.

OS: Debian 12 met Root on ZFS

Omdat het geen Intel is, maar een AMD, heb je een aantal extra packages nodig om tot een laag idle verbruik te komen:

- amd64-microcode
- firmware-amd-graphics
- cpufrequtils
- tlp
- powertop

Idle verbruik met 1 utp kabel aangesloten op 1Gbit, gemeten met een Energy Logger 4000: 3,2W.

Heb je ook kunnen meten hoe inefficiënt die power adapter is?
Ben benieuwd of het slim is om een andere adapter te gebruiken.
Zelf draai ik nu Truenas Scale en heb ik de genoemde packages kunnen installeren.
Op dit moment kom ik uit op 14W wanneer de HDD's in standby staan. Als ik naar een willekeurige WD Red kijk, zou die 0,6W in standby gebruiken (en volgens smartctl staan ze in standby, dus 2,4W voor 4 drives).
Ik heb er trouwens ook nog 2x NVMe drives in zitten, maar ik heb de statussen daarvan niet gecontroleerd.
Dus kom ik ongeveer uit op 11,6W. Al met al ben ik hier eigenlijk wel tevreden mee
Maar ik ben benieuwd als dit nog verder zou kunnen zakken.
Denk dat ik ook een keer een andere powermeter moet halen want ik zie hem constant springen tussen de 0 en 14W dus vraag me ook nog af hoe betrouwbaar die is.

[ Voor 4% gewijzigd door thespeed op 26-12-2024 10:43 ]

[RedRayMann]

Heb weer een kort momentje gevonden om lekker te nerden tijdens de kerstdagen.

RedRayMann schreef op dinsdag 24 december 2024 @ 14:23:
BIOS net bekeken. Staat gelijk.
Heb ook het volgende gevonden;
- Chipset - PCH-IO Configuration - Wake on Lan
Deze stond op enabled, dit heb ik nu op Disabled gezet. Maakt dit verschil uit? Jij via software bij boot en ik via BIOS?

ethtool enp1s0 | grep Wake
en
ethtool enp2s0 | grep Wake

Resultaat;

code:

root@pve:~# ethtool enp1s0 | grep Wak
        Supports Wake-on: pumbg
        Wake-on: g
root@pve:~# ethtool enp2s0 | grep Wake
        Supports Wake-on: pumbg
        Wake-on: g

In andere woorden, in de BIOS staat WOL uit, maar via CLI blijkt het gewoon aan te staan.


Volgende regels handmatig uitgevoerd;

code:

#Turn off Wake on Lan for enp1s0 & enp2s0
ethtool -s enp1s0 wol d
ethtool -s enp2s0 wol d
#
# Turn off Enp1s0
ip link set enp1s0 down

Ik laat de Odroid H4+ nu de rest van de dag lekker pruttelen en ben benieuwd of ik veranderingen merk in verbruik.

Opvallend was wel dat het leek dat poort 1 al down was.
zie;

code:

root@pve:~# ip link show enp1s0 
2: enp1s0: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN mode DEFAULT group default qlen 1000
    link/ether xx:xx:xx:xx:xx:xx brd ff:ff:ff:ff:ff:ff
root@pve:~# ip link show enp2s0 
3: enp2s0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq master vmbr0 state UP mode DEFAULT group default qlen 1000
    link/ether xx:xx:xx:xx:xx:xx brd ff:ff:ff:ff:ff:ff

Volgende stap alle regels en eigen "Powertop_script.sh" automatisch laten uitvoeren na startup.
Wat is hierin handig? Alles in crontab zetten? Of moet ik iets met Grub? (heb dit laatste nooit gebruikt, dus wil daar meer info over opzoeken)

Nu weer sociaal doen in de fysieke wereld :-)

[bjp]

gebruik hiervoor crontab. Er is een handige @reboot.

[ScarAce1989]

Oké dit is het geworden. Inmiddels is alles besteld.

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Core i5-13500 Boxed	€ 226,10	€ 226,10
1	Moederborden	ASUS TUF Gaming B760M-PLUS II	€ 169,-	€ 169,-
1	Behuizingen	Fractal Design Node 804	€ 109,20	€ 109,20
1	Geheugen intern	Corsair Vengeance CMK64GX5M2A4800C40	€ 165,24	€ 165,24
1	Voedingen	Corsair RM750x (2021) Zwart	€ 114,90	€ 114,90
1	SSD's	Lexar NM790 (zonder heatsink) 1TB	€ 78,90	€ 78,90
			Totaal	€ 863,34

[andru123]

RobertMe schreef op dinsdag 20 augustus 2024 @ 11:26:
[...]

Stick verkopen en deze kopen https://smlight.tech/product/slzb-06/ Lijkt mij zuiniger dan extra een volledige RPi of whatever moeten optuigen. (IIRC is PoE niet verplicht, kan ook via USB gevoed worden en via ethernet communiceren).

Wat is het consensus over Zigbee sticks, is dat zuiniger dan een USB stick met een RPi? @RedRayMann heeft iemand gemeten?
Sonoff stick is 20$ en PoE is 30$ op dit moment.

[ Voor 6% gewijzigd door andru123 op 26-12-2024 20:02 ]

[RedRayMann]

andru123 schreef op donderdag 26 december 2024 @ 20:00:
[...]

Wat is het consensus over Zigbee sticks, is dat zuiniger dan een USB stick met een RPi? @RedRayMann heeft iemand gemeten?
Sonoff stick is 20$ en PoE is 30$ op dit moment.

Ik heb de slzb-06 versie voor 30 euro kunnen krijgen. Zodat ik hem in de buurt van mijn poe switch kan hangen. Midden in mijn woning.

De Pi met P1 meter (en nu nog Home Assistant en Deconz stick) hangt in de meterkast. Daar wil mijn Zigbee stick weg halen.
De keuze van de slzb-06 voor mij was 1 kabel en supported door Home Assistant.

Sowieso wilde ik de Deconz stick wegdoen én niet meer in de server ivm de C state (veel hier gelezen)
Uiteindelijk blijft er wel een Pi in de meterkast met de P1 meter en een secundaire PiHole als back-up. Is het plan.

Power consumption heb ik niet naar gekeken.

bjp schreef op donderdag 26 december 2024 @ 17:37:
gebruik hiervoor crontab. Er is een handige @reboot.

Ik las het inderdaad. Dank voor je reactie.
Wilde lezen hoe men dit soort zaken zelf oppakt zodat ik met jullie ervaringen verder kan.

[ Voor 14% gewijzigd door RedRayMann op 26-12-2024 20:16 ]

[Jerie]

bjp schreef op donderdag 26 december 2024 @ 17:37:
gebruik hiervoor crontab. Er is een handige @reboot.

Dit werkt niet met elke crond implementatie.

Een alternatief is middels systemd. Daar zijn legio guides voor, zie bijvoorbeeld https://www.linode.com/docs/guides/start-service-at-boot/

Bij bijvoorbeeld op FreeBSD gebaseerde OPNsense gebruikt men rc.syshook.d zie https://docs.opnsense.org/development/backend/autorun.html

[manusjevanalles]

andru123 schreef op donderdag 26 december 2024 @ 20:00:
[...]

Wat is het consensus over Zigbee sticks, is dat zuiniger dan een USB stick met een RPi? @RedRayMann heeft iemand gemeten?
Sonoff stick is 20$ en PoE is 30$ op dit moment.

Ik heb afgelopen weekend m’n server (H4+) in productie genomen. Zonder usb verbruikte deze 4-4.5W, met 2 usb (p1->usb en zigbeestick) zit het verbruik op zo’n 7W. Door de powertopsettings komen de p1-telegrammen ook wat onregelmatig binnen, wel steeds minimaal elke 5-10 seconden. Dat is voor nu prima (geen loadbalancing nodig), en de zigbeestick doet het zonder vertraging. Maar het geeft zo’n 3W extra. In powertop zie ik 75% C10 en 12% C8.

[RedRayMann]

manusjevanalles schreef op donderdag 26 december 2024 @ 20:58:
[...]


Ik heb afgelopen weekend m’n server (H4+) in productie genomen. Zonder usb verbruikte deze 4-4.5W, met 2 usb (p1->usb en zigbeestick) zit het verbruik op zo’n 7W. Door de powertopsettings komen de p1-telegrammen ook wat onregelmatig binnen, wel steeds minimaal elke 5-10 seconden. Dat is voor nu prima (geen loadbalancing nodig), en de zigbeestick doet het zonder vertraging. Maar het geeft zo’n 3W extra. In powertop zie ik 75% C10 en 12% C8.

Goed om te weten dat jij nog op C10 zit.
Heb het idee dat ik na mijn powertop zoektocht én mogelijk het installeren van de Proxmox Android app niet meer in C10 kom. Elke keer is het bijna geheel C8.
Morgen ochtend nogmaals kijken.

Jerie schreef op donderdag 26 december 2024 @ 20:32:
[...]
Een alternatief is middels systemd. Daar zijn legio guides voor, zie bijvoorbeeld https://www.linode.com/docs/guides/start-service-at-boot/

Die zag ik dus ook langs komen.
Die had ik dus ook gelezen, een service van mijn script maken.

[andru123]

@mrmrmr @Mars Warrior hebben jullie de kans al om naar de nieuwe test s van voedingen op tweakpc.de te kijken? Corsair 2024 Rmx modellen zijn teleurstellend. Pure Power 12 M 550 en 650 pakt de kroon, gezien dat Rm550x zijn nergens te vinden al 2 jaar. Lijkt mij dat die twee be quiet voedingen maar 0.4W slechter doen dan Rm550x bij lage belastingen.

[mrmrmr]

Bron
Bron

Onder 35W is de Be Quiet Pure Power 12M geen efficiënte voeding, dus die zou je alleen kiezen als je idle verbruik hoger ligt dan 35W. Een PicoPSU met een FSP084 adapter blijft op een effciëntieniveau van circa 84,6% tot zeer dicht bij nul belasting.

Dus dit is met name nodig ls je veel disks moet starten en een PicoPSU + adapter niet voldoende Watts kan leveren. Er is een fluïde grens, als je geluk hebt ligt het maximum binnen de capaciteit van bijvoorbeeld een PicoPSU-120 en een 120W adapter. Voor systemen die minder nodig hebben is een PicoPSU-90 met een zuinige adapter nog beter. Adapters van 150W en groter zijn doorgaans wat minder zuinig in het lage bereik.

[Jerie]

mrmrmr schreef op vrijdag 27 december 2024 @ 06:57:
[Afbeelding] Bron
[Afbeelding] Bron

Onder 35W is de Be Quiet Pure Power 12M geen efficiënte voeding, dus die zou je alleen kiezen als je idle verbruik hoger ligt dan 35W. Een PicoPSU met een FSP084 adapter blijft op een effciëntieniveau van circa 84,6% tot zeer dicht bij nul belasting.

Dus dit is met name nodig ls je veel disks moet starten en een PicoPSU + adapter niet voldoende Watts kan leveren. Er is een fluïde grens, als je geluk hebt ligt het maximum binnen de capaciteit van bijvoorbeeld een PicoPSU-120 en een 120W adapter. Voor systemen die minder nodig hebben is een PicoPSU-90 met een zuinige adapter nog beter. Adapters van 150W en groter zijn doorgaans wat minder zuinig in het lage bereik.

Vaak is het geen kwestie van moeten starten maar willen starten. Je kunt disks ook staggered power up starten i.p.v. allen direct na power on.

Normaal gesproken heb je bij desktops duurdere voedingen die efficiëntie van boven 90% (bij hoge load) kunnen. Met ouderdom wordt dat minder. Een 80 PLUS PSU zou (nieuw) op 20% load 80% efficiëntie of hoger moeten hebben. Een PSU van 750W is bij een zuinige server m.i. overkill. Dat gaat tegenvallen. Want 20% van 750W is al 150W en dat gaat je zuinige server als het goed is niet verbruiken. Hoogstens tijdens pieken.

[bjp]

Met ouderdom wordt dat minder

ben je daar zeker van? spoelen blijven spoelen, weerstanden blijven weerstanden. Enkel chemische capaciteiten verliezen wat met de tijd. Transistoren verliezen niet echt performance, enkel wat elektromigratie (en dan nog) en zo, zie https://en.wikipedia.org/wiki/Transistor_aging, maar da's typisch niet echt een probleem (tenzij je intens gebruik/echt lange duur rekent).

[andru123]

Alle andere ATX voedingen zijn (veel) minder efficient onder 35W. Be quiet is op dit moment het zuinigste. Ik zie mensen kiezen allerlij andere ATX modellen, dat vind ik jammer. @mrmrmr

[mrmrmr]

@Jerie
Er is meestal een bepaalde mate van startverschil, waardoor piekverbruiken niet samenvallen, afhankelijk van het moederbord (BIOS en/of computercontroller). Dat geeft meer ruimte.

Er is ook nog een hybride mogelijkheid: 12V rechtstreeks van een AC/DC adapter koppelen aan de disks en de andere spanningen afnemen van de PicoPSU. Dat vergt tweaking met connectoren.

Zodoende kun je in principe meer disks voeden. Het is uiteraard vooral verstandig als het idle verbruik inderdaad onder circa 40W blijft (gemiddelde ATX voeding).

@andru123 Ik kan het toevoegen aan de topic start. Je hebt gelijk dat het veel slechter kan.

[Jerie]

bjp schreef op vrijdag 27 december 2024 @ 15:01:
[...]


ben je daar zeker van? spoelen blijven spoelen, weerstanden blijven weerstanden. Enkel chemische capaciteiten verliezen wat met de tijd. Transistoren verliezen niet echt performance, enkel wat elektromigratie (en dan nog) en zo, zie https://en.wikipedia.org/wiki/Transistor_aging, maar da's typisch niet echt een probleem (tenzij je intens gebruik/echt lange duur rekent).

Ja, ze worden minder efficient na verloop van tijd. Daardoor gaan ze stuk (overbelasting) en daardoor kan het zijn dat een voeding ineens niet meer voldoende levert. Waardoor hij bijvoorbeeld meerdere keren aan moet. Dan weet je dat hij de geest gaat begeven. Hoe het technisch in elkaar zit weet ik niet, maar werkelijk vaak genoeg meegemaakt.