Het grote zuinige server topic - deel 3

[andru123]

@Cidious knop onder de inventaris lijst Genereer RML. Dan kan je de gegenereerde tekst copy-pasten. (Ik weet het eigenlijk niet wat een RML is. Best als de knop hernoemd naar “copy to forum post” of zoiets.)

[Cidious]

andru123 schreef op zondag 4 augustus 2024 @ 16:55:
@Cidious knop onder de inventaris lijst Genereer RML. Dan kan je de gegenereerde tekst copy-pasten. (Ik weet het eigenlijk niet wat een RML is. Best als de knop hernoemd naar “copy to forum post” of zoiets.)

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Core i5-14400T Tray	€ 299,-	€ 299,-
4	Interne harde schijven	WD Ultrastar DC HC550 (SATA) (SE), 16TB	€ 341,92	€ 1.367,68
1	Voedingen	Seasonic Focus SPX (2021) 750 watt	€ 169,90	€ 169,90
1	SSD's	Intel Optane M10 16GB	€ 217,80	€ 217,80
2	SSD's	Lexar NM790 (met heatsink) 1TB	€ 87,52	€ 175,04
1		CWWK NAS 8	--	--
1		Jonsbo N3 Zwart	--	--
2		KLEVV KD58UA80-56G460A 32GB	--	--
Bekijk collectie Importeer producten			Totaal	€ 2.229,42

Het probleem hiermee is dat veel producten die ik hier koop (China) niet in de pricewatch staan. Ziet er zo klungelig uit.

[andru123]

Ziet er wel goed. Je kan altijd handmatig link of prijs invullen.
Welke meter gebruik je.
Wat kost electriciteit in China? @Cidious

[Cidious]

andru123 schreef op zondag 4 augustus 2024 @ 17:29:
Ziet er wel goed. Je kan altijd handmatig link of prijs invullen.
Welke meter gebruik je.
Wat kost electriciteit in China? @Cidious

Omgerekend 10 euro cent per KW omdat wij in ons pand bedrijfs tarieven betalen. We hebben ons bedrijf ook in onze woning geregistreerd. Gewone woningen komen met 4.5 euro cent per KW. Voor de financiele besparingen hoef ik niet op de zuinigheid te letten, maar voor eigen plezier vind ik dat toch leuk en ik wil graag zo min mogelijk energie verspillen.

Benzine kost hier €1 per liter 95. Ik rijd nog 1 benzine wagen en een Tesla. Je kan je voorstellen dat beiden me niet de kop kosten maar elektrisch wel enorm goedkoop is. Ik laad de auto op, op het werk voor minder dan €5 voor een volle lading omdat we daar ook korting op krijgen van de overheid.

[mrmrmr]

@Cidious 4x 5.6W = 22,4W. 55,6W - 22,4W (AC-DC) = 33,2W. Je systeem verbruikt dus ~33,2W, tenzij er nog meer meegemeten wordt.

Het is verleidelijk te denken dat klein in omvang ook een klein verbruik betekent, maar dat komt niet altijd uit. De zaken die verbruik verminderen zijn de ondersteuning van low power settings, geen performance settings. Dat heeft met het ontwerp van het moederbord en de BIOS te maken. Als Optane niet in ASPM L1.2 kan, verbruikt het misschien 2W actief (spec sheet Intel, max 3,75W).

Het bord ziet er uit alsof het schoongemaakt is met een middel dat residu achterlaat. Dat geeft die waas en vingerafdrukken zijn dan duidelijk herkenbaar.

Ik heb nog nooit Klevv geheugen gezien. Dat is blijkbaar van Essencore (SK Hynix). Het typenummer kan ik niet vinden op de Klevv site, ik denk dat er een typfout in zit.

[Cidious]

mrmrmr schreef op maandag 5 augustus 2024 @ 00:11:
@Cidious 4x 5.6W = 22,4W. 55,6W - 22,4W (AC-DC) = 33,2W. Je systeem verbruikt dus ~33,2W, tenzij er nog meer meegemeten wordt.

Het is verleidelijk te denken dat klein in omvang ook een klein verbruik betekent, maar dat komt niet altijd uit. De zaken die verbruik verminderen zijn de ondersteuning van low power settings, geen performance settings. Dat heeft met het ontwerp van het moederbord en de BIOS te maken. Als Optane niet in ASPM L1.2 kan, verbruikt het misschien 2W actief (spec sheet Intel, max 3,75W).

Het bord ziet er uit alsof het schoongemaakt is met een middel dat residu achterlaat. Dat geeft die waas en vingerafdrukken zijn dan duidelijk herkenbaar.

Ik heb nog nooit Klevv geheugen gezien. Dat is blijkbaar van Essencore (SK Hynix). Het typenummer kan ik niet vinden op de Klevv site, ik denk dat er een typfout in zit.

Is gewoon restanten flux op het bord. Rondom de pinnen was het allemaal nog vettig. Ze hebben het bord wel proberen schoon te maken maar niet goed genoeg.

Ik kies inderdaad voor KLEVV omdat die exclusief Hynix aanbieden en voor DDR5 Hynix de beste ICs aanbiedt deze generatie die makkelijker aan te sturen zijn door de IMC voor beiden AMD en Intel. Ik ben een 192GB kit door de stabiliteits testen aan het gooien met een 7900X3D ook nu welke ook hynix aan boord heeft en bijvoorbeeld makkelijker te stabiliseren is dan een kit met 24gbit Micron ICs. Voor DDR4 gebruikte ik graag Crucial omdat Micron voor de DDR4 generatie de meest geadvanceerde ICs produceerden met hogere dichtheid en efficientie (Ja geadvanceerder dan Samsung B-die, zeker veel efficienter).

Inderdaad een typo:
KD5BGUA80-56G460A
Helaas maken ze nog geen 48GB dimms anders had ik die genomen ipv 32GB. Meer geheugen maakt ZFS blij.

Die laatste paar watt maak ik me persoonlijk zelf niet heel druk om, maar ik zal nog wel even een rondje bios doen van het Intel bord. Mijn hoofdserver tikt makkelijk 110-115W aan idle met AMD 5900X, 128GB ECC, X570 bord, 7 flash drives en twee 3080 20GB kaarten die volgens Nvidia-smi 6-7W per stuk trekken in rust. Zuinig is relatief. Tis maar net hoe je het bekijkt. Naast m'n hoofd machine is de nieuwe Intel bak veel zuiniger en beter geschikt voor puur backups en media serving.

Ik snap wel wat de titel van dit draadje inhoudt en dat het hier sport is voor iedereen om de nummers naar elkaar te houden.

Stabiliteit is prioriteit 1 omdat de machines zakelijk dienst doen. Hoewel lager verbruik gewenst is, wil ik liever niet teveel Power saving features aanzetten en de systemen op die manier teveel afknijpen of zelfs instabiel maken. Ik heb heb de AMD CPU wel in 65W ecomodus lopen om Max draw wat naar beneden bij de stellen.

De soms vervelende bijkomstigheid van bijvoorbeeld het knijpen van de pci bus of zelfs de ethernet poorten met powersaving opties is verhoogde latency. Zal voor die Intel bak prima zijn als backup bak, maar dit wil ik bijvoorbeeld liever niet voor de AMD hoofdserver. Die features zijn nooit geheel 'gratis' je betaalt ervoor in snelheid (latency) of soms zelfs stabiliteit.

Betreft de optanes. Deze zijn inderdaad vrij hongerig en worden relatief vrij heet idle. Ik zit er wel over te denken om die op termijn te vervangen maar heb nog geen goed alternatief gevonden.

[ Voor 9% gewijzigd door Cidious op 05-08-2024 04:11 ]

[duderuud]

Al een tijdje heb ik deze Truenas server draaien:

#	Category	Product	Prijs	Subtotaal
1	Processors	AMD Ryzen 5 Pro 5650GE Tray	€ 0,-	€ 0,-
1	Moederborden	Asrock Rack X470D4U	€ 301,18	€ 301,18
1	Videokaarten	PNY NVIDIA T600	€ 0,-	€ 0,-
6	Interne harde schijven	WD Red Plus, 12TB	€ 286,-	€ 1.716,-
1	Behuizingen	Silverstone CS382	€ 229,-	€ 229,-
1	Netwerkadapters	Intel Ethernet Network Adapter I225-T1 (retail)	€ 84,82	€ 84,82
4	Geheugen intern	Kingston KSM32ED8/16MR	€ 53,90	€ 215,60
1	Voedingen	Seasonic Core Gold GM 500	€ 0,-	€ 0,-
2	SSD's	Kingston NV2 2TB	€ 96,99	€ 193,98
1	SSD's	WD Red SA500 2,5" 500GB	€ 56,08	€ 56,08
Bekijk collectie Importeer producten			Totaal	€ 2.796,66

Deze server verbruikt gemiddeld zo'n 75W. Heeft er iemand nog slimme tips om dit verbruik wat te verlagen?

Wat extra info:
- Server draait 24/7, oa vanwege automatische backups.
- De processor is dus een GE variant met een tpd van 35W
- De Nvidia GPU wordt af en toe gebruikt icm Tdarr voor x264->x265 transcoding en Jellyfin transcoding

Wellicht zijn er specifieke bios settings die invloed hebben op het stroomverbruik of kan ik in TrueNAS hdd spindown settings aanpassen?

[FireDrunk]

Kan je het systeem makkelijk opsterten zonder disks en zonder GPU?
Ben heel beniewd wat het 'ruwe' verbruik dan is.

Gebruik je TrueNAS Scale of de 'gewone' ?

Spindown kan je volgens mij gewoon in de UI regelen in TrueNAS.

[ Voor 17% gewijzigd door FireDrunk op 05-08-2024 14:58 ]

[Satom]

Afgelopen week de N100 mini-pc van de welbekende Chinese webshop binnengekregen: TRIGKEY G4, zonder SSD of RAM, dat had ik zelf nog wel liggen.

Na installatie van 1 stick 16GB en een Samsung NVME 2TB heb ik Debian en Ubuntu LTS getest:
- met bios aanpassingen van deze blog
- powertop calibratie en vervolgens de boel herstart,
- powertop --auto-tune
- alleen een UTP-kabel aangesloten

Resultaat:
- Debian: 4,5 ~ 4,8 watt
- Ubuntu: 4,3 ~ 4,6 watt

Wat ik wel bijzonder vond (en wellicht is het normaal), leek het erop dat de bios aanpassingen niet direct effect hadden. Na het aanpassen en een herstart bleef het systeem idle op +- 8,4 watt draaien. Dat viel mij nogal tegen en had het systeem even weggelegd om het een dag later weer opnieuw op te starten.

Toen was het verbruik ineens bijna gehalveerd.. het kan bijna geen initialisatie process zijn geweest. Aangezien ik na het zien van de 4,5 ~ 4,8 watt, direct Ubuntu heb geinstalleerd en het powertop-proces heb doorlopen.

*Wattages zijn gemeten met een brennenstuhl.

[andru123]

Satom schreef op maandag 5 augustus 2024 @ 16:09:
- Ubuntu: 4,3 ~ 4,6 watt

dat zit meer in de buurt van wat ik verwacht van n100

Ik heb hetzelfde vreemd gedrag een keer op mijn Gigabyte B660 ook gezien. Na paar keer herstarten (niet gelukte boot sequence of hard reset tijdens boot, kan niet herinneren) was opeens het verbruik op 8W in plaats van verwachte 3.6W, en ook C10 state was er niet meer. Daarna een keer reboot, Bios controleren, reboot, en was het terug op “normaal”, zonder enkele wijziging.

[iMars]

Cidious schreef op zondag 4 augustus 2024 @ 16:15:
[...]


13400T of 13500T. Ik heb zelf een 14400T op de CWWK-Nas 8. Net gekocht voordat die intel ongein allemaal aan het licht kwam.

13400T en 13500T gebruiken Golden cove cores (Intel 12th gen) + de reguliere e-cores. 6P+4E en 6P+8E. Deze zullen dus onaangetast zijn door de bug. Ik maak me verder weinig zorgen met de 14400T omdat het maar een 35W CPU met 82W boost is. Ik zal straks even de bios flashen met die nieuwe microcode. Als je meer wilt weten over het bord. Vraag maar raak.

[Afbeelding]	[Afbeelding]	[Afbeelding]
[Afbeelding]	[Afbeelding]	[Afbeelding]
[Afbeelding]

Bord heeft een paar kleine flaws die ik in het Intel nieuwstopic heb gepost maar ik zal ze hier nog eens posten:

#1: Goor, ranzig bord vol met vette soldeer flux als het uit de doos komt. Zal je wat alcohol kosten om het te verwijderen en zelf een glaasje erbij nemen om het proces aangenamer te maken met een tandenborstel.
[Afbeelding]

#2: Plastic chipset pushpin steekt door de achterkant van het bord recht onder waar de 3e NVME moet komen. Deze zullen vervangen moeten worden door iets vlakkers zoals hier te zien:
[Afbeelding]

[Afbeelding]

[Afbeelding]

[Afbeelding]

[Afbeelding]

#3 De blauwe USB 3 header is met een dot lijm op het bord gemonteerd. De glijd er zo vanaf als je de USB 3 kabel eruit trekt. Zal wat meer lijm omheen en onder moeten. Ben ik nog niet aan toegekomen.

Thnx voor de info! Dat wordt idd effe met IPA en een tandenborstel schoonmaken (heb genoeg IPA staan voor/van m’n 3D printers)


Ben uiteindelijk voor i5-13400T gegaan, we zullen zien hoe of wat ik verwacht geen 6W (zonder schijven) systeem zoals m’n huidige i3-8100 en D3644-B boardje, maar ga wel kijken hoe zuinig ik ‘m kan krijgen

[Cidious]

iMars schreef op maandag 5 augustus 2024 @ 17:45:
[...]

Thnx voor de info! Dat wordt idd effe met IPA en een tandenborstel schoonmaken (heb genoeg IPA staan voor/van m’n 3D printers)

[Afbeelding]

[Afbeelding]

[Afbeelding]

Ben uiteindelijk voor i5-13400T gegaan, we zullen zien hoe of wat ik verwacht geen 6W (zonder schijven) systeem zoals m’n huidige i3-8100 en D3644-B boardje, maar ga wel kijken hoe zuinig ik ‘m kan krijgen

Top! laat maar weten hoe zuinig je hem kan krijgen dan en wat je daar voor hebt moeten doen. Ik heb er nog niet naar gekeken. Ben al tevreden dat hij stabiel loopt.

[mrmrmr]

@duderuud Het verbruik beperken bestaat vaak uit de volgende onderdelen:
• hardware
• BIOS instellingen: zie topic start
• besturingssysteem en optimalisatie: zie topic start
• optimalisatie van applicaties

Zelf meten met een energiemeter (zie topic start) is het beste. Als je iets uitschakelt of loskoppelt, kun je ontdekken waar het verbruik vandaan komt.

Je hebt 6x 12 TB schijven, dat zou 17,2W DC verbruiken. Spindown is inderdaad de voor de hand liggende mogelijkheid.

De videokaart is een typische grootverbruiker, die kost ook ongebruikt veel energie.

In tests van Tweakers zie ik dat Kingston NV2 niet goed omgaat met low power in idle.

De i225 adapter zou de package C state kunnen beinvloeden.

Kijk welke taken er draaien. Als die processortijd verbruiken en niet nodig zijn, zet ze dan uit.

Je kan ook de computer in en uit een slaapstand helpen via remote control (bv Wake-on-LAN), zonder gebruik te maken van remote control hardware. IPMI is aanwezig op het moederbord en dat is ook een flinke verbruiker.

TrueNAS is gebaseerd op FreeBSD, en die heeft weinig ondersteuning voor low power modes van hardware. Beter is een een zuinige Linux distributie zoals Debian/Ubuntu.

AMD heeft een beperkte set cpu power management settings. De TDP zegt voornamelijk iets over de verwachte warmteontwikkeling en de benodigde koeling. Het zegt niet zoveel over het idle verbruik, of het verbruik in de praktijk.

Applicaties hebben soms de neiging te veel te monitoren, dat kan worden beperkt tot wat strikt nodig is. Die monitoring activiteit kost voortdurend energie.

BIOS:
CPB Mode: disabled
PT SATA Mode: AHCI
SATA Hot Plug: disabled
PCIE Devices Power On: disabled
RTC Alarm Power On: disabled
Fan Control: test of manual helpt
Zen Common Options: C state op maximaal zetten, kijk of er nog meer low power settings zijn
cTDP: op gewenste laagste waarde zetten
MITT/WITT: probeer disable
Clock Power Management (CLKREQ#): probeer enabled
SATA Redriver Tuning: probeer disabled
PcieLanes_4_7_Switch: probeer cpu/pt chip
CSM: disabled

Bij proberen moet je terug kunnen gaan naar default om te zien wat precies een verbetering veroorzaakt. Als je meerdere zaken tegelijk wijzigt weet je niet of het systeem optimaal is.

Probeer de BMC (IPMI) uit te schakelen. Dat is een systeem in een systeem, als die niet meer zou verbruiken moet dat een aantal Watts schelen.

Het bord heeft staggered spin up. Dat kan interessant zijn als je de voeding vervangt door een zuinige voeding. Dan kun je een beperkte voeding toepassen zoals PicoPSU-160XT met XP Power VES120PS12 120W. Dan moet ze er wel voor zorgen dat je niet de disks alle tegelijk laat upspinnen als ze in spindown zijn en het heeft pas zin als het verbruik onder de 50 a 60W ligt.

[Cidious]

mrmrmr schreef op maandag 5 augustus 2024 @ 22:10:
@duderuud Het verbruik beperken bestaat vaak uit de volgende onderdelen:
• hardware
• BIOS instellingen: zie topic start
• besturingssysteem en optimalisatie: zie topic start
• optimalisatie van applicaties

Zelf meten met een energiemeter (zie topic start) is het beste. Als je iets uitschakelt of loskoppelt, kun je ontdekken waar het verbruik vandaan komt.

Je hebt 6x 12 TB schijven, dat zou 17,2W DC verbruiken. Spindown is inderdaad de voor de hand liggende mogelijkheid.

De videokaart is een typische grootverbruiker, die kost ook ongebruikt veel energie.

In tests van Tweakers zie ik dat Kingston NV2 niet goed omgaat met low power in idle.

De i225 adapter zou de package C state kunnen beinvloeden.

Kijk welke taken er draaien. Als die processortijd verbruiken en niet nodig zijn, zet ze dan uit.

Je kan ook de computer in en uit een slaapstand helpen via remote control (bv Wake-on-LAN), zonder gebruik te maken van remote control hardware. IPMI is aanwezig op het moederbord en dat is ook een flinke verbruiker.

TrueNAS is gebaseerd op FreeBSD, en die heeft weinig ondersteuning voor low power modes van hardware. Beter is een een zuinige Linux distributie zoals Debian/Ubuntu.

AMD heeft een beperkte set cpu power management settings. De TDP zegt voornamelijk iets over de verwachte warmteontwikkeling en de benodigde koeling. Het zegt niet zoveel over het idle verbruik, of het verbruik in de praktijk.

Applicaties hebben soms de neiging te veel te monitoren, dat kan worden beperkt tot wat strikt nodig is. Die monitoring activiteit kost voortdurend energie.

BIOS:
CPB Mode: disabled
PT SATA Mode: AHCI
SATA Hot Plug: disabled
PCIE Devices Power On: disabled
RTC Alarm Power On: disabled
Fan Control: test of manual helpt
Zen Common Options: C state op maximaal zetten, kijk of er nog meer low power settings zijn
cTDP: op gewenste laagste waarde zetten
MITT/WITT: probeer disable
Clock Power Management (CLKREQ#): probeer enabled
SATA Redriver Tuning: probeer disabled
PcieLanes_4_7_Switch: probeer cpu/pt chip
CSM: disabled

Bij proberen moet je terug kunnen gaan naar default om te zien wat precies een verbetering veroorzaakt. Als je meerdere zaken tegelijk wijzigt weet je niet of het systeem optimaal is.

Probeer de BMC (IPMI) uit te schakelen. Dat is een systeem in een systeem, als die niet meer zou verbruiken moet dat een aantal Watts schelen.

Het bord heeft staggered spin up. Dat kan interessant zijn als je de voeding vervangt door een zuinige voeding. Dan kun je een beperkte voeding toepassen zoals PicoPSU-160XT met XP Power VES120PS12 120W. Dan moet ze er wel voor zorgen dat je niet de disks alle tegelijk laat upspinnen als ze in spindown zijn en het heeft pas zin als het verbruik onder de 50 a 60W ligt.

Dank voor deze uitgebreide checklist. Vooral bios gedeelte kan nog wel handig zijn. Ik zal er zelf ook eens wat aandacht aan schenken en toch 'low hanging fruit' proberen mee te nemen met m'n servers.

Overigens is TrueNAS Scale gebaseerd op Linux Debian. De reguliere TrueNAS versie komt inderdaad voort uit FreeNAS en is gebaseerd op Freebsd. Ik draai zelf Scale met beide systemen.

[andru123]

@Cidious ik zie op een foto je ook een insteek netwerk card heeft van Realtek. Het staat niet in de lijst.
Met 1700 socket any card in PEG PCI socket voorkomt dat CPU package naar low power state gaat. Vermijd de PEG slot als het kan. Ik gebruik bijv. een extra netwerk card in een m.2 wifi slot.
@duderuud 75W op 30 ct/kWh is 200€/jaar. Ik zou zeker moeite nemen om dit zuiniger te maken. Voor dat bedrag - als je toch AMD systeem wil behouden - misch. een aparte 24/7 NAS server is een optie, dan ga je de AMD bak on demand starten.

[duderuud]

Dank voor de tips @mrmrmr

Ik ga er asap mee aan de slag en laat wel weten wat er uit gaat komen.

Oh ja, er hangt een Homewizard Energy Socket aan de server dus kan exact zien wat het stroomvwrbr is.

[Cidious]

andru123 schreef op maandag 5 augustus 2024 @ 22:47:
@Cidious ik zie op een foto je ook een insteek netwerk card heeft van Realtek. Het staat niet in de lijst.
Met 1700 socket any card in PEG PCI socket voorkomt dat CPU package naar low power state gaat. Vermijd de PEG slot als het kan. Ik gebruik bijv. een extra netwerk card in een m.2 wifi slot.
@duderuud 75W op 30 ct/kWh is 200€/jaar. Ik zou zeker moeite nemen om dit zuiniger te maken. Voor dat bedrag - als je toch AMD systeem wil behouden - misch. een aparte 24/7 NAS server is een optie, dan ga je de AMD bak on demand starten.

Dat is inderdaad een nieuwe Realtek RTL8126 5G NIC. Was even een probeersel. De Intel heeft dual 2.5GbE aan boord (1 voor IPMI en 1 voor regulier gebruik). Mijn andere systemen draaien allemaal op 10GbE Marvell kaarten. Die gebruiken aardig wat. De 'nieuwe' RTL8126 5GbE is gebaseerd op de oudere RTL8125 2.5GbE chip. 5G werkt gewoon over Cat 5a en deze chips zijn vele malen zuiniger (RTL8126 1.5W en RTL8125 0.7W)) dan de Marvell 10GbE chips (4 - 6W) welke al relatief zuinig zijn tegenover andere enterprise onderdelen (X540 en X550). Ik wilde deze kaart dus even testen in TrueNAS Scale en gebruik hem momenteel in de hoofdserver omdat ik daar een extra GPU in had gezet en daarvoor mijn 10GbE Lan kaart moest opgeven. De intel box heeft alleen een NVME app pool en HDDs voor de rest van de opslag en kan dus nooit 10GbE bandbreedte vol maken. Zonde dus om daar meer in te gooien. Desalnietemin heb ik er voor gekozen die Intel bak gewoon op 2.5GbE te laten draaien. Hij is voor nacht backups en media serving. Daar is 2.5GbE plenty voor.

Betreft de electriciteits kosten. Ik woon in China. 0.8 RMB cent per KW/h dat is omgerekend 10 cent per KW/h. 1/3 dus. Net als de brandstof hier. Voor de poen hoef ik het niet te doen. Ik snap dat dat thuis in NL helemaal nu meer een dingetje is. Ik vind het zelf wel gewoon belangrijk om niet onnodig te verspillen als dat niet ten koste van de stabiliteit gaat.

De AMD gaat ook niet weg!

De AMD is mijn hoofdserver voor AI workloads en de backend van mijn bedrijf. Daar draaien alle applicaties en webservers op. De Intel doos doet nacht backups en kan eventueel een paar van die apps overnemen als de hoofdserver uitvalt. Kwestie van activeren op de backup data en dan even mijn DNS verwijzingen aanpassen.

Dit is niet zomaar een thuis hobby project voor fun. Ik maak mijn poen met deze machines en zo zijn anderen daar ook afhankelijk van.

#1 Stabiliteit
#2 Performance
#3 Akoestiek
#4 Zuinigheid

Gelukkig gaan #3 en #4 hand in hand.

[mrmrmr]

@Cidious Hoewel het hier over zuinige thuissservers gaat, draai ik zuinige servers ook professioneel, en ik heb nog nooit iets van instabiliteit meegemaakt waar de oorzaak de zuinigheid zou kunnen zijn. Als je de juiste hardware kiest hoef je je daar geen zorgen over te maken.

Overklokken is oorzaak van instabiliteit. Dat geldt niet alleen voor de processor, maar ook voor geheugen. Als je bij Intel standaard JEDEC SPD geheugen gebruikt en turbo uitschakelt, power limits beperkt is dat stabiel. Dus je zou kunnen zeggen dat jouw prioriteit stabiliteit sterk verbonden is met zuinigheid. Ook geluidsontwikkeling is sterk verbonden met zuinigheid, want als er geen warmteproductie is, is er ook geen actieve koeling nodig. In mijn servers is - behalve op de cpu - geen enkele koeler actief.

De 'adviezen' waarmee overklokkers/gamers strooien (alle low power uitschakelen) mag je gevoegelijk vergeten. Die zijn niet van toepassing op een zuinige thuisserver en het zou stabiliteit onderuit schoffelen.

[bjp]

alweer ge-reboot naar BIOS scherm gisteren... nieuwe BIOS is dus niet genoeg. Stond nog maar een paar dagen terug te lopen.

Had ook de RAM latjes eens in de andere slots gezet, maar ik kreeg een bericht tijdens boot dat dit niet ideaal is, dus teruggezet.

In hert verleden al een memtest gedaan, en die was clean.

[andru123]

@bjp er zit niks in windows event logs ?

[bjp]

onder proxmox (debian) niet

journalctl -b -1, einde van de log:

code:

Aug 05 06:25:29 nemesis systemd[1]: Starting man-db.service - Daily man-db regeneration...
Aug 05 06:25:29 nemesis systemd[1]: man-db.service: Deactivated successfully.
Aug 05 06:25:29 nemesis systemd[1]: Finished man-db.service - Daily man-db regeneration.
Aug 05 06:33:29 nemesis systemd[1]: Starting apt-daily-upgrade.service - Daily apt upgrade and clean activities...
Aug 05 06:33:29 nemesis systemd[1]: apt-daily-upgrade.service: Deactivated successfully.
Aug 05 06:33:29 nemesis systemd[1]: Finished apt-daily-upgrade.service - Daily apt upgrade and clean activities.
Aug 05 07:17:01 nemesis CRON[863960]: pam_unix(cron:session): session opened for user root(uid=0) by (uid=0)
Aug 05 07:17:01 nemesis CRON[863961]: (root) CMD (cd / && run-parts --report /etc/cron.hourly)
Aug 05 07:17:01 nemesis CRON[863960]: pam_unix(cron:session): session closed for user root
Aug 05 08:17:01 nemesis CRON[876832]: pam_unix(cron:session): session opened for user root(uid=0) by (uid=0)
Aug 05 08:17:01 nemesis CRON[876833]: (root) CMD (cd / && run-parts --report /etc/cron.hourly)
Aug 05 08:17:01 nemesis CRON[876832]: pam_unix(cron:session): session closed for user root
Aug 05 09:17:01 nemesis CRON[889676]: pam_unix(cron:session): session opened for user root(uid=0) by (uid=0)
Aug 05 09:17:01 nemesis CRON[889677]: (root) CMD (cd / && run-parts --report /etc/cron.hourly)
Aug 05 09:17:01 nemesis CRON[889676]: pam_unix(cron:session): session closed for user root
Aug 05 10:17:01 nemesis CRON[902598]: pam_unix(cron:session): session opened for user root(uid=0) by (uid=0)
Aug 05 10:17:01 nemesis CRON[902599]: (root) CMD (cd / && run-parts --report /etc/cron.hourly)
Aug 05 10:17:01 nemesis CRON[902598]: pam_unix(cron:session): session closed for user root
Aug 05 11:17:01 nemesis CRON[915384]: pam_unix(cron:session): session opened for user root(uid=0) by (uid=0)
Aug 05 11:17:01 nemesis CRON[915385]: (root) CMD (cd / && run-parts --report /etc/cron.hourly)
Aug 05 11:17:01 nemesis CRON[915384]: pam_unix(cron:session): session closed for user root
Aug 05 12:17:01 nemesis CRON[928303]: pam_unix(cron:session): session opened for user root(uid=0) by (uid=0)
Aug 05 12:17:01 nemesis CRON[928304]: (root) CMD (cd / && run-parts --report /etc/cron.hourly)
Aug 05 12:17:01 nemesis CRON[928303]: pam_unix(cron:session): session closed for user root
Aug 05 12:59:37 nemesis systemd[1]: Starting systemd-tmpfiles-clean.service - Cleanup of Temporary Directories...
Aug 05 12:59:38 nemesis systemd[1]: systemd-tmpfiles-clean.service: Deactivated successfully.
Aug 05 12:59:38 nemesis systemd[1]: Finished systemd-tmpfiles-clean.service - Cleanup of Temporary Directories.
Aug 05 12:59:38 nemesis systemd[1]: run-credentials-systemd\x2dtmpfiles\x2dclean.service.mount: Deactivated successfully.
Aug 05 13:17:01 nemesis CRON[941034]: pam_unix(cron:session): session opened for user root(uid=0) by (uid=0)
Aug 05 13:17:01 nemesis CRON[941035]: (root) CMD (cd / && run-parts --report /etc/cron.hourly)
Aug 05 13:17:01 nemesis CRON[941034]: pam_unix(cron:session): session closed for user root
Aug 05 14:17:01 nemesis CRON[953689]: pam_unix(cron:session): session opened for user root(uid=0) by (uid=0)
Aug 05 14:17:01 nemesis CRON[953690]: (root) CMD (cd / && run-parts --report /etc/cron.hourly)
Aug 05 14:17:01 nemesis CRON[953689]: pam_unix(cron:session): session closed for user root

niet direct iets nuttig ertussen

[eheijnen]

bjp schreef op dinsdag 6 augustus 2024 @ 13:58:
onder proxmox (debian) niet

journalctl -b -1, einde van de log:

code:

Aug 05 06:25:29 nemesis systemd[1]: Starting man-db.service - Daily man-db regeneration...
Aug 05 06:25:29 nemesis systemd[1]: man-db.service: Deactivated successfully.
Aug 05 06:25:29 nemesis systemd[1]: Finished man-db.service - Daily man-db regeneration.
Aug 05 06:33:29 nemesis systemd[1]: Starting apt-daily-upgrade.service - Daily apt upgrade and clean activities...
Aug 05 06:33:29 nemesis systemd[1]: apt-daily-upgrade.service: Deactivated successfully.
Aug 05 06:33:29 nemesis systemd[1]: Finished apt-daily-upgrade.service - Daily apt upgrade and clean activities.
Aug 05 07:17:01 nemesis CRON[863960]: pam_unix(cron:session): session opened for user root(uid=0) by (uid=0)
Aug 05 07:17:01 nemesis CRON[863961]: (root) CMD (cd / && run-parts --report /etc/cron.hourly)
Aug 05 07:17:01 nemesis CRON[863960]: pam_unix(cron:session): session closed for user root
Aug 05 08:17:01 nemesis CRON[876832]: pam_unix(cron:session): session opened for user root(uid=0) by (uid=0)
Aug 05 08:17:01 nemesis CRON[876833]: (root) CMD (cd / && run-parts --report /etc/cron.hourly)
Aug 05 08:17:01 nemesis CRON[876832]: pam_unix(cron:session): session closed for user root
Aug 05 09:17:01 nemesis CRON[889676]: pam_unix(cron:session): session opened for user root(uid=0) by (uid=0)
Aug 05 09:17:01 nemesis CRON[889677]: (root) CMD (cd / && run-parts --report /etc/cron.hourly)
Aug 05 09:17:01 nemesis CRON[889676]: pam_unix(cron:session): session closed for user root
Aug 05 10:17:01 nemesis CRON[902598]: pam_unix(cron:session): session opened for user root(uid=0) by (uid=0)
Aug 05 10:17:01 nemesis CRON[902599]: (root) CMD (cd / && run-parts --report /etc/cron.hourly)
Aug 05 10:17:01 nemesis CRON[902598]: pam_unix(cron:session): session closed for user root
Aug 05 11:17:01 nemesis CRON[915384]: pam_unix(cron:session): session opened for user root(uid=0) by (uid=0)
Aug 05 11:17:01 nemesis CRON[915385]: (root) CMD (cd / && run-parts --report /etc/cron.hourly)
Aug 05 11:17:01 nemesis CRON[915384]: pam_unix(cron:session): session closed for user root
Aug 05 12:17:01 nemesis CRON[928303]: pam_unix(cron:session): session opened for user root(uid=0) by (uid=0)
Aug 05 12:17:01 nemesis CRON[928304]: (root) CMD (cd / && run-parts --report /etc/cron.hourly)
Aug 05 12:17:01 nemesis CRON[928303]: pam_unix(cron:session): session closed for user root
Aug 05 12:59:37 nemesis systemd[1]: Starting systemd-tmpfiles-clean.service - Cleanup of Temporary Directories...
Aug 05 12:59:38 nemesis systemd[1]: systemd-tmpfiles-clean.service: Deactivated successfully.
Aug 05 12:59:38 nemesis systemd[1]: Finished systemd-tmpfiles-clean.service - Cleanup of Temporary Directories.
Aug 05 12:59:38 nemesis systemd[1]: run-credentials-systemd\x2dtmpfiles\x2dclean.service.mount: Deactivated successfully.
Aug 05 13:17:01 nemesis CRON[941034]: pam_unix(cron:session): session opened for user root(uid=0) by (uid=0)
Aug 05 13:17:01 nemesis CRON[941035]: (root) CMD (cd / && run-parts --report /etc/cron.hourly)
Aug 05 13:17:01 nemesis CRON[941034]: pam_unix(cron:session): session closed for user root
Aug 05 14:17:01 nemesis CRON[953689]: pam_unix(cron:session): session opened for user root(uid=0) by (uid=0)
Aug 05 14:17:01 nemesis CRON[953690]: (root) CMD (cd / && run-parts --report /etc/cron.hourly)
Aug 05 14:17:01 nemesis CRON[953689]: pam_unix(cron:session): session closed for user root

niet direct iets nuttig ertussen

Misschien eens met ander memory proberen.
Maar kan ook een driver zijn.

[bjp]

zeker als je weet dat de Home Assistant erop nog gedraaid heeft tot 15:04... dus bijna een uur na het einde van die log.

Ik zal eens opnieuw een memtest lopen, of effe proberen met 1 van de 2 latjes erin.

[Cidious]

mrmrmr schreef op dinsdag 6 augustus 2024 @ 11:26:
@Cidious Hoewel het hier over zuinige thuissservers gaat, draai ik zuinige servers ook professioneel, en ik heb nog nooit iets van instabiliteit meegemaakt waar de oorzaak de zuinigheid zou kunnen zijn. Als je de juiste hardware kiest hoef je je daar geen zorgen over te maken.

Overklokken is oorzaak van instabiliteit. Dat geldt niet alleen voor de processor, maar ook voor geheugen. Als je bij Intel standaard JEDEC SPD geheugen gebruikt en turbo uitschakelt, power limits beperkt is dat stabiel. Dus je zou kunnen zeggen dat jouw prioriteit stabiliteit sterk verbonden is met zuinigheid. Ook geluidsontwikkeling is sterk verbonden met zuinigheid, want als er geen warmteproductie is, is er ook geen actieve koeling nodig. In mijn servers is - behalve op de cpu - geen enkele koeler actief.

De 'adviezen' waarmee overklokkers/gamers strooien (alle low power uitschakelen) mag je gevoegelijk vergeten. Die zijn niet van toepassing op een zuinige thuisserver en het zou stabiliteit onderuit schoffelen.

Ik snap je punten, maar er is altijd een balans te vinden voor de gebruiksdoeleinden. Het is ook zaak om niet door te slaan en weer problemen te veroorzaken. En als jij zegt dat dat niet kan door power savings features dan klopt dat niet. Veel NICs geven problemen met powersavings features aan bijvoorbeeld met latency of helemaal wegvallen. Zeker de Intel 2.5GbE NICs zijn er gevoelig voor. Om zo even een voorbeeld te geven. De waarheid ligt altijd ergens in het midden en je blind staren op het verhaal vanuit 1 perspectief levert vaak een negatief resultaat op.

Dus nee, ik ga niet blindelings powersavings features aanzetten en zo stap voor stap de functies en prestaties van mijn hardware naar beneden bijstellen tot het punt dat ik net zo goed een lichtere hardware configuratie had kunnen kopen. Prioriteiten.

Het is een balans spel waarbij je goed nagaat wat die powersavings opties doen, wat ze opleveren en wat je er voor inlevert. Ze zijn nooit helemaal gratis want dan zouden ze standaard al geactiveerd zijn. Er zijn wel nobrainers als in laaghangend fruit om mee te beginnen natuurlijk.

HDD spindown is er zo'n eentje. Mijn Intel doos doe nachtbackups en media serveren. Ik kijk niet de hele dag films en luister niet de hele dag audioboeken. En de nachtbackups gebeuren snachts. Om de HDDs dan na 60 minuten the laten stoppen met draaien is een no-brainer. Ja het zal wat meer slijtage opleveren aan je HDDs maar met NL electriciteits prijzen zal je die HDDs wel weer terug verdienen om te vervangen tegen de tijd dat dat een ding is geworden.


Ik snap echt wel het uitgangs punt van dit draadje en het enthusiasme voor meer meer meer (minder minder minder in dit geval haha). Niet wie kan de snelste auto bouwen maar wie kan de zuinigste server bouwen. Blijft een sociale aangelegenheid en ik denk dat er niet in doordraven ook niet ongezond is.

[mrmrmr]

@bjp Ik zie niets bijzonders in de journallog.

Je hebt een Gigabyte B760M DS3H AX moederbord en een i7-14700 processor. Is de processor gestresstest of zwaar belast? Zoals je al weet kan daar permanente schade door ontstaan zijn door Intel's overklokking. Dan is vervangen misschien een optie. De voeding is niet berekend op het hoge verbruik onder turbo, het is een voeding voor een zuinig systeem met beperkt maximum. Het verdient aanbeveling om turbo uit te schakelen en de PL1/PL2 te beperken tot een punt waarbij er geen onevenredig extra verbruik is bij een hogere frequentie. Dat is het stabielst en zuinig. Zie bijvoorbeeld de tests van @Mars Warrior. Hij gebruikt de E cores van de processor, wat het maximale verbruik enorm beperkt. Bij een quad P core (zelf getest) tekent zich duidelijk een punt af waarbij zwaardere belasting onzuinig wordt en nauwelijks rendement geeft. Je zou eens kunnen testen met alleen de E cores aan.

Je hebt een Leicke 120W voeding. Als je regelmatig zwaar belast zou je de verbinding via barrel stekker van de Leicke adapter flink kunnen verbeteren door die te vervangen door een Molex Mini Fit Jr stekker. Die stekker is gespecificeerd tot 9A per paar en past op de Molex Mini Fit Jr stekker van de PicoPSU. Het is dan dezelfde type verbinding als bij een 20/24 pins ATX stekker, maar dan alleen voor 12V.

Bij warmteontwikkeling kunnen ongewenste verbindingen en kortsluiting ontstaan, metaal zet immers uit. Als er bijvoorbeeld schroefjes of metalen afstandhouders op de verkeerde plaats zitten in het moederbord of pinnen voor de processor verbogen zijn. Soms wordt per abuis een moederbord direct aan de kast geschroefd zonder afstandhouders. Ruik/snuffel eens aan het moederbord als er een crash of herstart gebeurt. Je kan ook voelen met je vinger er een onderdeel heet is geworden. Moederborden kunnen ook kapot gaan. Er zitten beveiligingen op die het bord uitschakelen of laten herstarten als de temperatuur te hoog wordt. Dat zijn thermische beveiligingen die reageren op kortsluitingen. Defecte USB apparaten (zoals stick, toetsenbord of muis) kunnen kortsluiting veroorzaken.

[bjp]

@mrmrmr max PL1/PL2/... zit op 65W - bij de laatste reboot stond hem zelf op 45W. Turbo's (de verschillenden) staan af. De HomeAssistant container is geassigned aan een cluster van 4 E-cores. Bord staat op de afstandhouders.

Spijtig genoeg sta ik niet 24/7 naast de server te wachten op een crash dat ding zit in de kelder...

Met een gemiddeld verbruik van 10W (0.24kWh/dag), is er zo goed als geen warmte weg te krijgen. Er is zowel een intel fan op de CPU als een 14cm fan in de case (Focus G van Fractal Design - de LED-fans vervangen door een Arctic Cooling F14 PWM).


Mss de geforceerde ASPM van de NIC niet meer doen... en zien of hij dan stabiel is. Dit staat er in de crontab:

code:

@reboot         /usr/bin/echo 1 | /usr/bin/tee /sys/bus/pci/drivers/r8169/0000\:02\:00.0/link/*aspm > /dev/null
@reboot         /usr/local/sbin/powertop --auto-tune > /dev/null 2>&1

[ Voor 21% gewijzigd door bjp op 06-08-2024 17:21 ]

[andru123]

@bjp is er manier om detailed logging instellen om te zien wat hij precies doet voor de crash? Spiket het verbruik voor de crash? (als he monitort via een plug)

[GoBieN-Be]

De fouten bij 13de gen en 14de gen processor zijn niet (alleen) door overklokken.
Het zou kunnen dat je een defecte CPU hebt. Ik zou even informeren over de RMA procedure.

[Cidious]

bjp schreef op dinsdag 6 augustus 2024 @ 17:19:
@mrmrmr max PL1/PL2/... zit op 65W - bij de laatste reboot stond hem zelf op 45W. Turbo's (de verschillenden) staan af. De HomeAssistant container is geassigned aan een cluster van 4 E-cores. Bord staat op de afstandhouders.

Spijtig genoeg sta ik niet 24/7 naast de server te wachten op een crash dat ding zit in de kelder...

Met een gemiddeld verbruik van 10W (0.24kWh/dag), is er zo goed als geen warmte weg te krijgen. Er is zowel een intel fan op de CPU als een 14cm fan in de case (Focus G van Fractal Design - de LED-fans vervangen door een Arctic Cooling F14 PWM).


Mss de geforceerde ASPM van de NIC niet meer doen... en zien of hij dan stabiel is. Dit staat er in de crontab:

code:

@reboot         /usr/bin/echo 1 | /usr/bin/tee /sys/bus/pci/drivers/r8169/0000\:02\:00.0/link/*aspm > /dev/null
@reboot         /usr/local/sbin/powertop --auto-tune > /dev/null 2>&1

Normaal gesproken als je tegen dit soort situaties aanloopt zou je mij eerst even alle instellingen terug naar standaard moeten zetten met een cmos reset of verse bios flash. Dan kijken of het stabiel is met standaard waarden zonder extra power savings opties. Dan 1 voor 1 weer aanzetten en verifiëren. Kan heel goed een kapotte CPU of ander component zijn maar om dat de verifieren zou je toch eerst terug moeten naar een baseline die door de fabrikanten is gegeven. Dat zal ook de vraag zijn voor diagnose door de fabrikant. Ik wil nu dus niet zeggen dat het perse door die powersaving features komt maar meten is weten.

[bjp]

CPU is nog vrij nieuw (mei 2024). Heeft nooit zwaar werk gedaan. Ik denk niet dat RMA al nodig is.

Ik heb net de hele BIOS opnieuw ingesteld (wegens 2 BIOS upgrades). Niet echt exotische dingen. Bijna alles staat op "auto" of "enabled". Enkel de turbo's afgezet, PL1/PL2/... ingesteld (wegens de beperkte picoPSU). Ik heb hem ooit gestresstest met die voeding, alle cores belasten, en ik had toen zeker nog marge (80W op 120W max). Deze test kan ik opnieuw doen met de nog lagere PL1/PL2/....

Voorlopig testen zonder de geforceerde ASPM van de NIC. Als hij dan 1 maand zo volhoud, dan weten we dat het daar aan ligt (tot nu toe was de langste run 16 dagen, maar ook soms maar 3 dagen). Ik denk niet dat het aan de uptime ligt, anders zou ik hem dagelijks ook kunnen rebooten om te proberen (later dan).

Extra logging zou ik graag willen, maar ik weet niet direct wat. Enig advies?

Ja hij is gemonitord door een zigbee smartplug, maar de database zit in HA dat op die computer zelf draait (in een VM) Ik zie geen vreemde piek net voor het stopt (maar de refreshrate is mss om de 2 minuten of zo). Doel is net dat deze computer mijn main-server is, dus stabiliteit primeert.

[bjp]

toevoeging: ik heb net een `stress --cpu 28` gedaan (8 P-Cores met HT, 12 E-Cores) en dan trekt de gehele computer ~55W (PL1/PL2 staan op 40/45W). De core clocks zitten op ongeveer 2.1GHz dan. Geen reboot getriggert hiermee. Later verhoog ik nog de PL1/PL2 om wat hoger te kunnen clocken.

[bjp]

toevoeging 2: zonder de NIC ASPM tricks, zit ik nu op ~17.3W gemiddeld over 11u (en beperkt to C3).

[bakvis]

bjp schreef op woensdag 7 augustus 2024 @ 11:21:
CPU is nog vrij nieuw (mei 2024). Heeft nooit zwaar werk gedaan. Ik denk niet dat RMA al nodig is.

Ik heb net de hele BIOS opnieuw ingesteld (wegens 2 BIOS upgrades). Niet echt exotische dingen. Bijna alles staat op "auto" of "enabled". Enkel de turbo's afgezet, PL1/PL2/... ingesteld (wegens de beperkte picoPSU). Ik heb hem ooit gestresstest met die voeding, alle cores belasten, en ik had toen zeker nog marge (80W op 120W max). Deze test kan ik opnieuw doen met de nog lagere PL1/PL2/....

Voorlopig testen zonder de geforceerde ASPM van de NIC. Als hij dan 1 maand zo volhoud, dan weten we dat het daar aan ligt (tot nu toe was de langste run 16 dagen, maar ook soms maar 3 dagen). Ik denk niet dat het aan de uptime ligt, anders zou ik hem dagelijks ook kunnen rebooten om te proberen (later dan).

Extra logging zou ik graag willen, maar ik weet niet direct wat. Enig advies?

Ja hij is gemonitord door een zigbee smartplug, maar de database zit in HA dat op die computer zelf draait (in een VM) Ik zie geen vreemde piek net voor het stopt (maar de refreshrate is mss om de 2 minuten of zo). Doel is net dat deze computer mijn main-server is, dus stabiliteit primeert.

Ik heb een vergelijkhbaar probleem gehad met mijn recente build:
- Gibabyte Aurus B760i pro ddr4
- Intel 13400 CPU

Zelfde symptomen. Op random momenten spontaan geen verinding meer met proxmox, in de logs was te zien dat de NIC in een sleep modus ging en daar niet meer uit kwam. Proxmox bleef gewoon draaien alleen netwerkconnectiviteit was weg.

Uiteindelijk in het BIOS ook ASPM voor de NIC uitgezet, hiermee lijk thet probleem opgelost. Buiten de reguliere updates van Proxmox nog niets anders gedaan, ook geen BIOS update.

[bjp]

ik heb een ander probleem denk ik: mijn PC reboot naar BIOS config scherm... hij is niet meer proxmox aan het draaien. Dit heb ik gemerkt door er gewoon een scherm aan te hangen als hij vastgelopen is.

[bjp]

onderzoek item: ik heb een Realtek RTL8125B. De driver die gebruikt wordt door proxmox/linux kernel is r8169.


er bestaan een debian package "r8125-dkms", maar weet niet goed wat dat is.

code:

# apt search r8125
Sorting... Done
Full Text Search... Done
r8125-dkms/stable 9.011.00-4.1 all
  dkms source for the r8125 network driver

[HotSpot79]

Dat is een driver van Realtek zelf die als een downloadable-kernel-module beschikbaar is. Mijn ervaring met de default r8169 icm een RTL8125 NIC is dat deze default driver erg gelimiteerd is. Geen jumboframes, en/of Flow control. De r8125 driver geeft mij een hogere doorvoer snelheid.

Helaas is een dergelijke dkm niet eenvoudig te installeren op TrueNAS Scale. Alles zit daar 'dicht getimmerd'.

Die r8169 is eigenlijk een all-in-one driver voor verschillende Realtek NICs.

[ Voor 9% gewijzigd door HotSpot79 op 07-08-2024 14:22 ]

[bjp]

ik heb de r8125-dkms toegevoegd. Na reboot, nog steeds r8169 in gebruik.

Ik heb een poging gedaan om deze te gebruiken: modprobe r8125 -> werkt niet. Iets fout?

code:

# modprobe r8125
modprobe: FATAL: Module r8125 not found in directory /lib/modules/6.8.8-4-pve

als ik thuis ben, kan ik proberen r8169 te blacklisten - nu remote durf ik niet (zou kunnen dat er geen netwerk is na reboot).

[HotSpot79]

Zoek even op internet hoe je een dkms module de op de juiste manier installeert. Het kan zijn dat het debian package alleen de sources installeert, en misschien niet de 'r8125.ko' file op de juiste locatie zet. Maar zeker weten doe ik dat niet. Ik heb idd ook de r8169 moeten blacklisten om uiteindelijk de r8125 te laden tijdens de boot.

Suc6 daarmee, maar of dat je probleem oplost, is nog maar de vraag. Ik ben er niet heel overtuigd van.

[Yaldair]

Voor proxmox moet je ff zoeken naar builden van de driver voor r8125. Is een topic voor op de proxmox fora. Scheelt ook in powerconsumptie btw. Dan krijg je Aspm. Bij de 8169 was dat disabled voor mij

[bjp]

@Yaldair nu deze nog bij mij aan de praat krijgen dan ASPM was de reden dat ik iets in mijn crontab moest zetten (om verder dan C3 te geraken).


update: hij draait nu (r8169 is ge-blacklist). Ik geraak tot C8 ook (geen dingen in crontab nodig om ASPM te forceren, werkt 'out-of-the-box' met ASPM). nu afwachten voor stabiliteit & verbruik

Bedankt allemaal!

[ Voor 43% gewijzigd door bjp op 07-08-2024 17:03 ]

[eheijnen]

bjp schreef op woensdag 7 augustus 2024 @ 16:16:
@Yaldair nu deze nog bij mij aan de praat krijgen dan ASPM was de reden dat ik iets in mijn crontab moest zetten (om verder dan C3 te geraken).


update: hij draait nu (r8169 is ge-blacklist). Ik geraak tot C8 ook (geen dingen in crontab nodig om ASPM te forceren, werkt 'out-of-the-box' met ASPM). nu afwachten voor stabiliteit & verbruik

Bedankt allemaal!

Misschien toch:
nieuws: MSI en ASUS brengen biosupdates uit tegen stabiliteitsproblemen Intel...

[ccsml]

Met hulp van de overvloed aan nuttige berichten in dit topic heb ik onlangs een servertje samengesteld. Leek mij wel aardig om even wat metingen terug te rapporteren.

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Core i5-12400 Boxed	€ 146,99	€ 146,99
1	Moederborden	Kontron K3843-B	€ 0,-	€ 0,-
1	Behuizingen	Fractal Design Focus 2 Black Solid	€ 69,85	€ 69,85
1	Geheugen intern	Crucial CT32G48C40U5	€ 85,55	€ 85,55
1	Voedingen	be quiet! Pure Power 12 M 550W	€ 90,70	€ 90,70
1	SSD's	Kioxia Exceria G2 M.2 2TB	€ 102,99	€ 102,99
Bekijk collectie Importeer producten			Totaal	€ 496,08

Ik heb niets aan de BIOS-instellingen van het moederbord gedaan, behalve het uitzetten van Turbo Boost. Met een Brennenstuhl PM 231 E DE 3655 meet ik onder Debian 12.6 (zonder desktopomgeving), zonder scherm en toetsenbord, maar met actieve NIC, 6.1W.

[Church of Noise]

Heb je al iets gedaan met powertop of TLP?

[bjp]

eheijnen schreef op donderdag 8 augustus 2024 @ 17:25:
[...]


Misschien toch:
nieuws: MSI en ASUS brengen biosupdates uit tegen stabiliteitsproblemen Intel...

zie mijn vorige reacties waar ik 2 recentste BIOS updates heb uitgevoerd, waaronder de Intel fix en microcode update.


ondertussen eerste metingen: ~12.9W (0.31kWh/dag).

[ Voor 4% gewijzigd door bjp op 09-08-2024 12:10 ]

[FireDrunk]

ccsml schreef op vrijdag 9 augustus 2024 @ 09:03:
Met hulp van de overvloed aan nuttige berichten in dit topic heb ik onlangs een servertje samengesteld. Leek mij wel aardig om even wat metingen terug te rapporteren.

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Core i5-12400 Boxed	€ 146,99	€ 146,99
1	Moederborden	Kontron K3843-B	€ 0,-	€ 0,-
1	Behuizingen	Fractal Design Focus 2 Black Solid	€ 69,85	€ 69,85
1	Geheugen intern	Crucial CT32G48C40U5	€ 85,55	€ 85,55
1	Voedingen	be quiet! Pure Power 12 M 550W	€ 90,70	€ 90,70
1	SSD's	Kioxia Exceria G2 M.2 2TB	€ 102,99	€ 102,99
Bekijk collectie Importeer producten			Totaal	€ 496,08

Ik heb niets aan de BIOS-instellingen van het moederbord gedaan, behalve het uitzetten van Turbo Boost. Met een Brennenstuhl PM 231 E DE 3655 meet ik onder Debian 12.6 (zonder desktopomgeving), zonder scherm en toetsenbord, maar met actieve NIC, 6.1W.

Kun je naast de opmerkingen @Church of Noise eens checken of ASPM goed werkt?
Er staan wel voorbeelden hoe je dat kan checken in dit topic.

[mrmrmr]

CWWK Q670 is gemeten door Matthew Hill (UK) op 18W. Helaas is er gemeten met 4 drives in spindown, dus het basisverbruik is niet helemaal duidelijk. Toshiba heeft het spindown verbruik niet vermeld op specsheets, het basisverbruik zou tussen 12 en 14,8W kunnen liggen op grond van een schatting tussen 1,5W en 0,8W.

https://matthewhill.uk/ge...3-14-gen-nas-motherboard/
https://www.hardwareluxx....dle.1007101/post-30463363

Het verbruik met actieve drives is gemeten op ~36W. Als de disks aan de AC kant circa 21W verbruiken (grof geschatte 80% efficiënt bij 36W) zou het netto verbruik ongeveer 15W zijn.

De gebruikte voeding is een Corsair SF750 SFX (80+ platinium).

Onduidelijk is of er een actieve netwerkverbinding is en hoe accuraat de Belkin energiemeter is.

De berekeningen en waarden komen dus met veel slagen om de arm.

Ook op dit systeem veroorzaken Intel i226 na powertop --auto-tune crashes.

[andru123]

Waarschijnlijk zat er geen kabel in een van de nics. Mischien gaat iMars straks dezelfde bord verfijnen tot de max, end dan weten wij echt hoe laag het kan gaan.

[ccsml]

Church of Noise schreef op vrijdag 9 augustus 2024 @ 09:51:
Heb je al iets gedaan met powertop of TLP?

powertop --auto-tune lijkt geen merkbare wattverlaging op te leveren.

TLP heb ik niet aangezet, maar zou voor het verbruik in idle niet uit moeten maken, toch?

[Church of Noise]

Als die goed geconfigureerd is, wel (ik heb in dit topic al een aantal keer hierover gepost).

Wat zegt de 'tunables' tab binnen Powertop? Want ik vind het een beetje vreemd dat Powertop geen verbetering brengt.

[ Voor 39% gewijzigd door Church of Noise op 10-08-2024 17:03 ]

[GioStyle]

Ik ben nog steeds op zoek naar een zuinige NAS. Als basis wilde ik een Odroid H4 nemen, maar KKSB heeft me teleurgesteld door met een GameCube-achtige behuizing te komen in plaats van een NAS behuizing.

Nu kwam ik toevallig deze tegen:

https://aoostar.com/produ...6-512gb-m-2-2280-nvme-ssd

De AOOSTAR WTR PRO 4 Bay. Een 4 bay nas gebaseerd op een N100 processor.

Je kan het nu nog alleen pre-orderen, dus ook weinig reviews over te vinden. Lijkt een kopie van Ugreen, maar de nas van Ugreen viel me behoorlijk tegen qua stroomverbruik. Qua build is dit eigenlijk precies wat ik zoek, maar wil natuurlijk wel zo zuinig mogelijk uitkomen.

[mrmrmr]

Op het hardwareluxx forum rapporteert iemand over een Intel NUC13L3Kv5:
https://www.hardwareluxx....dle.1007101/post-30464011

ASUS NUC 13 Pro Kit NUC13L3Kv5
Intel Core i5-1350P (4 P-Cores / 8 E-Cores)
1x m.2 SATA SSD

3,9W met toetsenbord en monitor (DPMS stand onbekend) en
2,5W zonder monitor

Het betreft een NUC met een laptopprocessor.

[andru123]

Dus NUCs blijven zuinig onder Asus ook. Voor 4P+8E cores het is wonderlijk.

[RobertMe]

andru123 schreef op zondag 11 augustus 2024 @ 04:34:
Dus NUCs blijven zuinig onder Asus ook.

Dat is niet heel verwonderlijk? Immers produceerde Asus ze ook al toen er nog een Intel naam op stond. Blijft dus semi hetzelfde product, alleen met een andere naam er op.

[Mich]

ccsml schreef op vrijdag 9 augustus 2024 @ 09:03:
Met hulp van de overvloed aan nuttige berichten in dit topic heb ik onlangs een servertje samengesteld. Leek mij wel aardig om even wat metingen terug te rapporteren.

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Core i5-12400 Boxed	€ 146,99	€ 146,99
1	Moederborden	Kontron K3843-B	€ 0,-	€ 0,-
1	Behuizingen	Fractal Design Focus 2 Black Solid	€ 69,85	€ 69,85
1	Geheugen intern	Crucial CT32G48C40U5	€ 85,55	€ 85,55
1	Voedingen	be quiet! Pure Power 12 M 550W	€ 90,70	€ 90,70
1	SSD's	Kioxia Exceria G2 M.2 2TB	€ 102,99	€ 102,99
Bekijk collectie Importeer producten			Totaal	€ 496,08

Ik heb niets aan de BIOS-instellingen van het moederbord gedaan, behalve het uitzetten van Turbo Boost. Met een Brennenstuhl PM 231 E DE 3655 meet ik onder Debian 12.6 (zonder desktopomgeving), zonder scherm en toetsenbord, maar met actieve NIC, 6.1W.

Welke package c-state haal je met powertop?

Wat komt er uit deze commando's ?

lspci -vv | awk '/ASPM.*?abled/{print $0}' RS= | grep --color -P '(^[a-z0-9:.]+|ASPM.*?abled)'
cat /sys/module/pcie_aspm/parameters/policy

Met de juiste voeding zou je 3 - 3.5W kunnen halen.

[Mich]

.

[ Voor 99% gewijzigd door Mich op 11-08-2024 20:27 ]

[R3m3d7]

Ik heb een vraagje. Ik heb een topton n100 systeempje, zo'n passief gekoeld apparaat met 4x2,5Gb ethernet en nvme slot. werkt super goed, erg stabiel en zou nu graag mijn tweede server met i3-7100 uit zetten en de paar containers (beide systemen draaien proxmox) naar de n100 verplaatsen. Mijn uitdaging is alleen dat de i3 twee sata schrijven heeft voor de data en ik deze echt nodig heb. Ik heb in het verleden weleens gewerkt met usb disken maar heb hier slechte ervaring mee. Dit kan echter komen door het type usb enclosure, de usb controller of wat dan ook. Ik wil het primair stabiel hebben maar natuurlijk ook zo zuinige mogelijk. Wat zouden jullie mij aanraden? Ik hoef echt niet meer dan 80-100MB/s te behalen van de disken, het is een beetje video en muziek streamen. Een apart NAS is naar want dan zijn het geen block devices meer onder proxmox en dat maakt het mappen van sata storage directories aan containers zo makkelijk, tenminste, dat is wat ik nu gebruik.

[FireDrunk]

R3m3d7 schreef op maandag 12 augustus 2024 @ 08:34:
Ik heb een vraagje. Ik heb een topton n100 systeempje, zo'n passief gekoeld apparaat met 4x2,5Gb ethernet en nvme slot. werkt super goed, erg stabiel en zou nu graag mijn tweede server met i3-7100 uit zetten en de paar containers (beide systemen draaien proxmox) naar de n100 verplaatsen. Mijn uitdaging is alleen dat de i3 twee sata schrijven heeft voor de data en ik deze echt nodig heb. Ik heb in het verleden weleens gewerkt met usb disken maar heb hier slechte ervaring mee. Dit kan echter komen door het type usb enclosure, de usb controller of wat dan ook. Ik wil het primair stabiel hebben maar natuurlijk ook zo zuinige mogelijk. Wat zouden jullie mij aanraden? Ik hoef echt niet meer dan 80-100MB/s te behalen van de disken, het is een beetje video en muziek streamen. Een apart NAS is naar want dan zijn het geen block devices meer onder proxmox en dat maakt het mappen van sata storage directories aan containers zo makkelijk, tenminste, dat is wat ik nu gebruik.

De betere (nieuwere) USB controllers gebruiken UAS (USB attached Storage), daarmee krijg je een 'echt' blockdevice terug waarmee je vrijwel direct tegen de disk aan kan praten. USB 'tunnelt' dan alleen maar het verkeer naar de disk. Daardoor werken dingen als SMART ook gewoon goed.

In principe zou je kunnen kijken of de enclosure UAS ondersteund, dan zou hij vrijwel altijd goed moeten werken.
Onder Proxmox kan je dan de disk (of zelfs het hele USB device) doorgeven aan de VM / Container.

[bjp]

r8125 driver in plaats van r8169 lost het probleem niet op. Server stond terug in BIOS scherm

BIOS settings gereset naar "load optimized default" + een paar kleine dingen (minimaal). Power is hoger (ik geraak maar tot C3), maar eerst stabiliteit testen.

[ Voor 4% gewijzigd door bjp op 12-08-2024 11:37 ]

[Mars Warrior]

bjp schreef op maandag 12 augustus 2024 @ 11:33:
r8125 driver in plaats van r8169 lost het probleem niet op. Server stond terug in BIOS scherm

BIOS settings gereset naar "load optimized default" + een paar kleine dingen (minimaal). Power is hoger (ik geraak maar tot C3), maar eerst stabiliteit testen.

Knudde. Je gaat nu gewoon 3 weken ofzo zo draaien om te kijken of het nu wel stabiel is? En dan stapje voor stapje dingen aanpassen om zo te achterhalen waar het probleem zit?

[FireDrunk]

Reboot naar BIOS klinkt voor mij alsof je SSD 'uitvalt'. Als je al een kernel panic zou hebben door de netwerkkaart, zou ik denken dat na een reboot dat gewoon weer online komt.

Wat wel kan (maar dat is far fetched), is dat je Realtek kaart er voor zorgt dat je system dieper in ASPM gaat, waar de NIC prima tegen kan, maar mogelijk de SSD juist niet.

Dan is het probleem dus niet je NIC, maar de SSD.

Je kan ff kijken of die nog een firmware update heeft.

[bjp]

zal eens richting SSD kijken. NIC en BIOS heb ik nu al paar dingen zitten proberen.

[Mars Warrior]

bjp schreef op maandag 12 augustus 2024 @ 12:05:
zal eens richting SSD kijken. NIC en BIOS heb ik nu al paar dingen zitten proberen.

Ik zie op internet hoopjes problemen met de Lexar NM790, waaronder deze:
Lexar NM790 4TB SSD keeps crashing my fresh install of Ubuntu 24.04

Hier staat ook een mogelijke oplossing bij. Bij de andere problemen iha niet, dus daar heb je niks aan!

Wie weet werkt dit bij jou ook als het daadwerkelijk een probleem met de SSD is!

[RobertMe]

FireDrunk schreef op maandag 12 augustus 2024 @ 11:51:
Reboot naar BIOS klinkt voor mij alsof je SSD 'uitvalt'. Als je al een kernel panic zou hebben door de netwerkkaart, zou ik denken dat na een reboot dat gewoon weer online komt.

Wat wel kan (maar dat is far fetched), is dat je Realtek kaart er voor zorgt dat je system dieper in ASPM gaat, waar de NIC prima tegen kan, maar mogelijk de SSD juist niet.

Dan is het probleem dus niet je NIC, maar de SSD.

Je kan ff kijken of die nog een firmware update heeft.

Toen ik nog een Kingston A2000 (SSD) gebruikte die steeds "bleef hangen" (/in deep sleep werd gezet en vervolgens niet meer wakker werd) bleef Linux ook hangen. Kernel schreef nog wat log messages dat die een reset van de drive uitvoerde en de drive (nog steeds) niet bereikbaar was en dat was het. Het leverde dus geen automatische reboot/reset op. En IIRC was een druk op de reset knop ook voldoende om weer gewoon te booten (alhoewel ik twijfel, kan zijn dat bios dan geen boot device kon vinden en een volledige powerdown nodig was, in ieder geval vond er geen automatische reboot plaats).

[Mich]

Ik kwam deze tool nog tegen:

https://wiki.ubuntu.com/FirmwareTestSuite/Reference

Er zit ook een analyse in voor ASPM, waarbij de tool aangeeft of L1 / L0s uit staat.

https://wiki.ubuntu.com/FirmwareTestSuite/Reference/aspm

[bjp]

code:

# nvme list
Node                  Generic               SN                   Model                                    Namespace Usage                      Format           FW Rev
--------------------- --------------------- -------------------- ---------------------------------------- --------- -------------------------- ---------------- --------
/dev/nvme0n1          /dev/ng0n1            XXXXXXXXXXXXXXXXXX   Lexar SSD NM790 4TB                      1           4.10  TB /   4.10  TB    512   B +  0 B   12237
# dmidecode -s bios-version
F18c
# udisksctl status
MODEL                     REVISION  SERIAL               DEVICE
--------------------------------------------------------------------------
Lexar SSD NM790 4TB       12237     XXXXXXXXXXXXXXXXXX   nvme0n1

nu nog zoeken naar wat de laatste mogelijke firmware versie is

[FireDrunk]

RobertMe schreef op maandag 12 augustus 2024 @ 12:49:
[...]

Toen ik nog een Kingston A2000 (SSD) gebruikte die steeds "bleef hangen" (/in deep sleep werd gezet en vervolgens niet meer wakker werd) bleef Linux ook hangen. Kernel schreef nog wat log messages dat die een reset van de drive uitvoerde en de drive (nog steeds) niet bereikbaar was en dat was het. Het leverde dus geen automatische reboot/reset op. En IIRC was een druk op de reset knop ook voldoende om weer gewoon te booten (alhoewel ik twijfel, kan zijn dat bios dan geen boot device kon vinden en een volledige powerdown nodig was, in ieder geval vond er geen automatische reboot plaats).

Komt dat niet omdat sommige borden een watchdog implementeren? Als je kernel dan panicked, zorgt die automatisch voor een 'reset'.

[Mich]

Mars Warrior schreef op maandag 12 augustus 2024 @ 12:39:
[...]

Ik zie op internet hoopjes problemen met de Lexar NM790, waaronder deze:
Lexar NM790 4TB SSD keeps crashing my fresh install of Ubuntu 24.04

Hier staat ook een mogelijke oplossing bij. Bij de andere problemen iha niet, dus daar heb je niks aan!

Wie weet werkt dit bij jou ook als het daadwerkelijk een probleem met de SSD is!

die optie om het op te lossen lijkt de nvme power management uit te zetten waardoor die niet meer autmatisch in power save mode kan gaan. Maar dat is altijd beter dan vastlopers

[bjp]

Mich schreef op maandag 12 augustus 2024 @ 14:07:
[...]


die optie om het op te lossen lijkt de nvme power management uit te zetten waardoor die niet meer autmatisch in power save mode kan gaan. Maar dat is altijd beter dan vastlopers

zal er dan van afhangen hoeveel het verbruik stijgt...

[Philo Melos]

Mars Warrior schreef op maandag 12 augustus 2024 @ 12:39:
[...]

Ik zie op internet hoopjes problemen met de Lexar NM790, waaronder deze:
Lexar NM790 4TB SSD keeps crashing my fresh install of Ubuntu 24.04

Hier staat ook een mogelijke oplossing bij. Bij de andere problemen iha niet, dus daar heb je niks aan!

Wie weet werkt dit bij jou ook als het daadwerkelijk een probleem met de SSD is!

En ik maar denken dat het aan het kabeltje lag! Heb er 2, 1 in mijn minipc (Win11). Daar kreeg ik allemaal crc-errors. Was de drive niet meer benaderbaar, en later bij herstarten ook niet meer in de bios te zien. Na een minuut of 10 was hij plots weer zichtbaar.
En in mijn ovm-pctje deed de Lexar ook moeilijk bij kopieren van grote hoeveelheden data.

EEns kijken of er oplossingen zijn.
Minipc-tje is inmiddels doorgebrand. Zag de rook eruit komen! Kabeltje verkeerd om aangesloten

[bjp]

nota: er is een nieuw BIOS beschikbaar met deze fix:

Update microcode 0x129 to address sporadic Vcore elevation behavior announced by Intel

[ Voor 28% gewijzigd door bjp op 12-08-2024 14:22 ]

[Mars Warrior]

bjp schreef op maandag 12 augustus 2024 @ 14:10:
[...]
zal er dan van afhangen hoeveel het verbruik stijgt...

Van 40mW naar 800mW volgens TPU

[RobertMe]

FireDrunk schreef op maandag 12 augustus 2024 @ 14:03:
[...]

Komt dat niet omdat sommige borden een watchdog implementeren? Als je kernel dan panicked, zorgt die automatisch voor een 'reset'.

Ik heb geen idee of dat bestaat, maar zou inderdaad wel kunnen. Tegelijkertijd had ik dat dan wel ook verwacht op "het bekende Fujitsu" bord. Gezien die bedoeld zijn voor "industriële" toepassingen etc.

[latka]

RobertMe schreef op maandag 12 augustus 2024 @ 15:40:
[...]

Ik heb geen idee of dat bestaat, maar zou inderdaad wel kunnen. Tegelijkertijd had ik dat dan wel ook verwacht op "het bekende Fujitsu" bord. Gezien die bedoeld zijn voor "industriële" toepassingen etc.

Ja, dat heet een watchdog. Voor intel borden is dit de kernel module itco_wdt. Iedere zoveel seconden moet er iets naar de hardware geschreven worden anders doet de chipset een reset van de machine. Echter ken ik geen borden die dit zelf doen behalve server borden waar het in de bios kan. Ook is het niet foolproof zolang de kernel reset thread nog signalen af kan geven doet de watchdog niets.

[andru123]

En met een andere SSD proberen is geen optie?
Ik was net aan het kijken naar een extra SSD, nu wacht ik af totdat dit is verklaard.

[bjp]

andru123 schreef op maandag 12 augustus 2024 @ 16:53:
En met een andere SSD proberen is geen optie?
Ik was net aan het kijken naar een extra SSD, nu wacht ik af totdat dit is verklaard.

mmmh te overwegen... ik heb nog een 2TB SATA SSD liggen dat ik hiervoor tijdelijk zou kunnen gebruiken.

[andru123]

@bjp liever nvme, maar als probleem weggaat, ben je toch iets verder

[bjp]

sorry geen spare NVME hier liggen...

ik heb zitten zoeken en ik vindt geen nieuwe firmware voor de NM790.

ik heb de aanpassing in grub gedaan, en ge-reboot. ASPM lijkt nu idd weg voor deze drive (als ik lspci -vvv doen, en dan zoek op ASPM Disabled).

[Mars Warrior]

bjp schreef op maandag 12 augustus 2024 @ 18:09:
sorry geen spare NVME hier liggen...

ik heb zitten zoeken en ik vindt geen nieuwe firmware voor de NM790.

ik heb de aanpassing in grub gedaan, en ge-reboot. ASPM lijkt nu idd weg voor deze drive (als ik lspci -vvv doen, en dan zoek op ASPM Disabled).

Als dit blijft leven en het kost je 1W, wie weet compenseert de Realtek driver dat dan weer

[RobertMe]

Mars Warrior schreef op maandag 12 augustus 2024 @ 18:15:
[...]

Als dit blijft leven en het kost je 1W, wie weet compenseert de Realtek driver dat dan weer

En zelfs vervangen hoeft niet perse een probleem te zijn op de lange termijn. De Kingston A2000 die het in 2020 niet deed op het Fujitsu bord, maar wel in mijn gewone PC (ouder, Gigabyte, denk ik) heb ik toen weggelegd. Vorig jaar een zelfbouw router opgetuigd op basis van een TopTon systeem. Kingston er in gezet, firmware geupdate (die dus ergens later in 2020 is uitgekomen), kernel mitigation overruled (drive staat op blacklist om ASPM toe te passen, nu doet die dat wel weer) en draait al al die tijd prima. Dus uiteindelijk heb ik de drive nu gewoon in gebruik en is die ook niet volledig weggegooid.

[FireDrunk]

Even gechecked, de watchdog modules worden bij veel operating systems by default niet geladen.

Als ik een

modprobe iTCO_wd

doe krijg ik keurig een watchdog:

dmesg output:

[3624211.034280] iTCO_vendor_support: vendor-support=0
[3624211.036822] iTCO_wdt iTCO_wdt: Found a Intel PCH TCO device (Version=6, TCOBASE=0x0400)
[3624211.037034] iTCO_wdt iTCO_wdt: initialized. heartbeat=30 sec (nowayout=0)

Edit: dit is op mijn MS-01 met Proxmox.
Edit2: mijn NAS (Fujitsu D3644-B) heeft geen watchdog.

Op mijn laptop (Lenovo X1 Carbon met Fedora 40) was hij zelfs out of the box enabled:

❯ sudo dmesg | grep iTCO
[   15.927622] iTCO_vendor_support: vendor-support=0
[   15.966230] iTCO_wdt iTCO_wdt: Found a Intel PCH TCO device (Version=6, TCOBASE=0x0400)
[   15.974636] iTCO_wdt iTCO_wdt: initialized. heartbeat=30 sec (nowayout=0)

En werkt dus ook gewoon direct.

Wel grappig dat Fedora hem dus default aan zet, maar Proxmox niet... Aparte keuze

[ Voor 41% gewijzigd door FireDrunk op 13-08-2024 07:53 ]

[latka]

FireDrunk schreef op dinsdag 13 augustus 2024 @ 07:41:
Wel grappig dat Fedora hem dus default aan zet, maar Proxmox niet... Aparte keuze

Proxmox heeft standaard de softdog (=software watchdog). Op de platformen waar proxmox voor bedoeld is heb je naast de intel watchdog vaak ook de ipmi watchdog en die is tricky om te autodetecten maar is wel degene die je wilt gebruiken omdat die niet alleen een reset maar een full power-cycle kunnen doen.

[HotSpot79]

Ooit een Samsung NVME SSD gehad die telkens direct na een succesvolle linux installatie vast liep en met allerlei fouten kwam tijdens het booten. De ssd was gloednieuw, maar bleef problemen vertonen op dit moederbord. Nadat ik de ssd opnieuw in het nvme slot had geplaatst, werkte alles weer super. Nergens geen last meer van. Dus mijn enig conclusie was toen, dat het plaatsen van een nvme ssd een precisie klusje was. Ik zeg niet dat het bij jou ook zo is, maar het is het proberen waard.

Hopelijk is het zoiets, want ik heb hier 2x Lexar NM790 klaar liggen voor een nvme ssd data pool.

[mrmrmr]

FireDrunk schreef op dinsdag 13 augustus 2024 @ 07:41:
Edit2: mijn NAS (Fujitsu D3644-B) heeft geen watchdog.

Er is een speciale Fujitsu driver voor.

[kevi-n1]

mrmrmr schreef op dinsdag 13 augustus 2024 @ 12:58:
[...]


Er is een speciale Fujitsu driver voor.

Ik heb voor mijn D3417-B2 hiervoor gekeken maar volgens mij was die voornamelijk voor windows platformen.

Toen ik die optie in mijn BIOS had geactiveerd, startte Unraid na X aantal seconden/minuten opnieuw op omdat de watchdog nooit een (keepalive)puls kreeg. Misschien had ik de beschikbare "driver" voor ubuntu moeten hercompileren maar eigenlijk is de fujitsu zo stabiel dat ik nog nooit de watchdog heb gemist.

[mrmrmr]

De losse Linux ftsteutates driver en gegevens staan hier:
sftp://ftp.kontron.com/Services/Software_Tools/Linux_SystemMonitoring_Watchdog_GPIO
(en kijk ook eens in /Services/Software_Tools/BMC_Management-Controller-API)

ftsteutates is aanwezig in de kernel. Het is aanwezig in Debian 12 als ik het me goed herinner.

Er zijn diverse BMC chips aanwezig op Fujitsu/Kontron borden.

[FireDrunk]

mrmrmr schreef op dinsdag 13 augustus 2024 @ 14:13:
De losse Linux ftsteutates driver en gegevens staan hier:
sftp://ftp.kontron.com/Services/Software_Tools/Linux_SystemMonitoring_Watchdog_GPIO
(en kijk ook eens in /Services/Software_Tools/BMC_Management-Controller-API)

ftsteutates is aanwezig in de kernel. Het is aanwezig in Debian 12 als ik het me goed herinner.

Er zijn diverse BMC chips aanwezig op Fujitsu/Kontron borden.

Ik heb ftsteutates geladen dmv /etc/modules naast coretemp.
Ik denk dat er dan nog een expliciete watchdog config bij moet om die ftsteutates te moeten gaan gebruiken?

[mrmrmr]

@FireDrunk Ik gebruik het zelf niet. Er staan conf files en documentatie in de links.

[bjp]

BIOS update naar F18d gedaan + terug BIOS instellen.

VMD (soort RAID controller?) afzetten in BIOS zorgt er ook voor dat ik geen netwerk meer heb in proxmox (bizaar).

Audio of SATA afzetten leek niet direct te helpen voor power (maar kort nagekeken). Terug aangezet dus.

Ik gebruik nog steeds de r8125-dkms driver, en ook de fix dat @Mars Warrior voorstelde hier : https://gathering.tweaker...message/79817978#79817978

Nu zien of het stabiel blijft draaien. Het haalt ~11W en tot C10.

Ondertussen ook iets tegengekomen wat interessant kan zijn : tlp-stat -p.

Daarin zit ook iets over EPP (stond op balance_performance by default, nu op power gezet):

code:

/sys/devices/system/cpu/cpu0/cpufreq/energy_performance_preference = power [HWP.EPP]
/sys/devices/system/cpu/cpu0/cpufreq/energy_performance_available_preferences = default performance balance_performance balance_power power

[Ankh]

Zijn er al mensen die een Odroid H4+ binnen hebben en hebben getest? @RedRayMann @manusjevanalles ?
Mijn NAS (Synology) + losse Proxmox bak moeten vervangen worden. Staat op de planning om dit na de vakanties te doen.

Ik wil voor een H4+ gaan met Debian/Ubuntu als dockerhost en daarnaast een x aantal 2,5" disken voor data opslag. Moet nog even bepalen of dit een ZFS / Snapraid + MergerFS gaat worden. Wil beginnen met 2 disken (heb ik nu ook) en indien nodig utibreiden met extra disken naarmate mijn behoefte groeit. Vandaar dat ik nog niet weet wat voor setup het wordt.

[RedRayMann]

Ankh schreef op zaterdag 17 augustus 2024 @ 09:46:
Zijn er al mensen die een Odroid H4+ binnen hebben en hebben getest? @RedRayMann @manusjevanalles ?
Mijn NAS (Synology) + losse Proxmox bak moeten vervangen worden. Staat op de planning om dit na de vakanties te doen.

Ik wil voor een H4+ gaan met Debian/Ubuntu als dockerhost en daarnaast een x aantal 2,5" disken voor data opslag. Moet nog even bepalen of dit een ZFS / Snapraid + MergerFS gaat worden. Wil beginnen met 2 disken (heb ik nu ook) en indien nodig utibreiden met extra disken naarmate mijn behoefte groeit. Vandaar dat ik nog niet weet wat voor setup het wordt.

Nog niet.
Heb als doel uiterlijk begin 2025 gaan bouwen, in de tussentijd hardware in aanbiedingen aan te schaffen :-P

Ivm werk, gezin, trainingen/certificeringen heb ik nu gewoon geen tijd om dingen goed te doen :-)

Wil zelf wat test draaien met Truenas, Proxmox en eventueel een kale linux met docker. Maar ben geen cli held. Dus hoe meer GUI hoe beter voor mij.
Kom van een Synology en de Pi's met DietPi heb ik de laatste jaren stabiel draaien (Pi Hole, VPN, Unifi op 1, Vroeger Domoticz en tegenwoordig HAOS op de 2de)
Dus heb wel CLI ervaring maar uit ervaring maak ik altijd een backup voordat ik überhaupt een regel code tik. Wijs geworden door ervaringen ;-)

[Ankh]

Ik heb het precies andersom, door jaren lang ervaring met CLI merk ik dat ik liever naar een kale OS ga. Heb Truenas (core weliswaar) / OMV en alternatieve geprobeerd, maar kwam eigenlijk uit op beperkende (of irriterende factoren). Proxmox is nog een goede alternatieve oplossing, maar vind de manier van presenteren van volumes voor je download data onprettig. Alles wat ik nodig heb ik, is toch in docker vorm te krijgen wat het back-uppen van je config vele malen makkelijker maakt. Daarnaast minder overhead.

[RedRayMann]

Ankh schreef op zaterdag 17 augustus 2024 @ 12:36:
Ik heb het precies andersom, door jaren lang ervaring met CLI merk ik dat ik liever naar een kale OS ga. Heb Truenas (core weliswaar) / OMV en alternatieve geprobeerd, maar kwam eigenlijk uit op beperkende (of irriterende factoren). Proxmox is nog een goede alternatieve oplossing, maar vind de manier van presenteren van volumes voor je download data onprettig. Alles wat ik nodig heb ik, is toch in docker vorm te krijgen wat het back-uppen van je config vele malen makkelijker maakt. Daarnaast minder overhead.

Voordat we te veel offtopic gaan. Wil eerst de eerder genoemde kaal draaien. Puur ter referentie en voor data hier.

Daarna moet ik gaan spelen wat voor mij werkt. Heb geen ervaring met docker maar lees dat veel binnen docker kan draaien én dat dat mogelijk zuiniger is dan de eerder genoemde.

Daarom wil ik echt tijd hebben om de setup te draaien en uit te bouwen.

Ik moet bijvoorbeeld een maand lang elke avond tijd hebben. Ipv enkele maanden maar een paar uur per maand.

[GioStyle]

Ankh schreef op zaterdag 17 augustus 2024 @ 09:46:
Zijn er al mensen die een Odroid H4+ binnen hebben en hebben getest? @RedRayMann @manusjevanalles ?
Mijn NAS (Synology) + losse Proxmox bak moeten vervangen worden. Staat op de planning om dit na de vakanties te doen.

Ik wil voor een H4+ gaan met Debian/Ubuntu als dockerhost en daarnaast een x aantal 2,5" disken voor data opslag. Moet nog even bepalen of dit een ZFS / Snapraid + MergerFS gaat worden. Wil beginnen met 2 disken (heb ik nu ook) en indien nodig utibreiden met extra disken naarmate mijn behoefte groeit. Vandaar dat ik nog niet weet wat voor setup het wordt.

FYI:

Hardkernel heeft nvme expension boards gemaakt voor de Odroid H3/H4. Je kan op de plek van het nvme slot door middel van bifurcation 2 of 4 nvme ssd’s plaatsen. Uiteraard tegen een lagere snelheid, maar er zijn dus extra mogelijkheden qua opslag. Maakt de Odroid in mijn ogen nog aantrekkelijker.

[manusjevanalles]

Ankh schreef op zaterdag 17 augustus 2024 @ 09:46:
Zijn er al mensen die een Odroid H4+ binnen hebben en hebben getest? @RedRayMann @manusjevanalles ?
Mijn NAS (Synology) + losse Proxmox bak moeten vervangen worden. Staat op de planning om dit na de vakanties te doen.

Ik wil voor een H4+ gaan met Debian/Ubuntu als dockerhost en daarnaast een x aantal 2,5" disken voor data opslag. Moet nog even bepalen of dit een ZFS / Snapraid + MergerFS gaat worden. Wil beginnen met 2 disken (heb ik nu ook) en indien nodig utibreiden met extra disken naarmate mijn behoefte groeit. Vandaar dat ik nog niet weet wat voor setup het wordt.

Ik heb hem ruim een maand geleden besteld, maar hij is nog steeds niet geleverd helaas.

[dabachata]

Dank voor alle bijdragen op dit leuke forum 🙂 Heel inzichtelijke Topic-starter ook.

Vraagje:
Voor Home Assistant OS Dedicated, Bare Metal: Celeron, Pentium, i3 of i5, wat is IN GEBRUIK in kWh het zuinigst over een langere periode gerekend. Dus niet TDP of Idle Verbruik, maar t werkelijke gebruik gedurende een dag/week/maand terwijl ie 24/7 aan staat. Voor 6e/7e/8e/9e Generatie LGA 1151 Intel Processors. Absoluut snel genoeg om HAOS te draaien. Naar ik begrepen heb zijn de 11e-14e LGA 1700 Processoren veel minder zuinig in verbruik en veel prijziger in aanschaf tweedehands.

Ik denk dat dit voor andere type servers net zo van belang is. Het gaat om een combinatie van laag Idle gebruik en snel alle processen kunnen verwerken en weer terug in zuinige modus. Wat is nou werkelijk het zuinigst?

Home Assistant maakt naar ik begrepen heb niet veel gebruik van meerdere Threads op de CPU dus vooral Single Core prestaties zijn van belang en eleron/Pentium is dan een optie.
Onderstaande artikelen gelezen te hebben lijkt er voor zowel Celeron en i5 iets te zeggen, en delven Pentium en i3 het onderspit..

Kopje Efficiëntie in dit artikel:
https://nl.hardware.info/...essor-stroomverbruik.html
Kopje Efficiëntie in dit artikel:
review: AMD Ryzen 5 5500 en 5600 - 'Identieke' cpu's zijn opvallend verschillend

Ik vind t een beetje raar dat vaak voornamelijk wordt gekeken naar verbruik in Watts en niet naar kWh.. Helemaal raar dat volgens de Hardware Info Review de Pentium 8e met 1,7W het hoogste verbruik heeft in Idle, daarna Celeron 6e 1,4W, i5 8e 1,2W en i3 8e 1w. Dus ik vroeg me af of er iemand al zo mal is geweest en bij een werkend systeem processoren heeft uitgewisseld om te kijken wat nu werkelijk het zuinigst is over een langere periode. Ook tweedehands zijn al wat oudere LGA 1151 Mini PC's met i5 nog een flink stuk prijziger dan de Celeron versies, €50/€75 vs €100/€150 vraagprijs tweedehands. 6e/7e vs 8e/9e Gen zijn uitgaande van de Pinned Posts 0,5w/1w minder zuinig in Idle, maar enkele tientjes goedkoper in aanschaf tweedehands.. 2024

Ik heb meerdere keren gelezen dat een T processor (G3950T, G4900T, 8400T) ondanks het lagere 35W TDP niet zuiniger is in gebruik 24/7 dan de G3950/G4900/i5-8400 equivalent met hogere TDP. Hoeveel is daar van waar?


Het hele verhaal, nog langer:
Ik ga binnenkort een klein systeempje opzetten voor het draaien van Home Assistant OS, dedicated op een tweedehands Mini PC (HP Prodesk/Elitedesk, Dell Optiplex of Fujitsu Q556/Q558). Ik heb nu SmartThings geprobeerd met Zigbee sensoren en lampen, maar daarin toch wel heel beperkt qua mogelijkheden dus wil de overstap naar Home Assistant proberen te maken. Sonoff Zigbee 3.0 E stickje net binnen, wacht nu op ontvangst USB naar M.2 en USB naar SATA adapters zodat ik op een relaxte manier Home Assistant OS aan de praat krijg zonder eerst Linux te moeten installeren.

Zo'n Mini-PC zou heel betaalbaar moeten zijn in aanschaf (<€150) en verbruik (<5W in gebruik afhankelijk van wat je er nog allemaal aan hangt). Ik heb me flink ingelezen en t zou een 6e, 7e, 8e of 9e Generatie Intel Processor moeten hebben. Moederbord heel belangrijk voor zuinig verbruik, en de hierboven genoemde Mini PC's ontworpen voor zakelijk gebruik zouden heel goede zuinige moederborden moeten hebben, geoptimaliseerd om kosten te besparen voor bedrijven.
Ook instellingen op het BIOS en in t OS om verbruik te minimaliseren zouden van belang zijn om zo.laag mogelijk verbruik te realiseren, waarbij een nadeel van de tweedehands Mini-PC's ontworpen voor de zakelijke markt zou zijn dat je niet alle instellingen in t BIOS kan wijzigen. Geen vPro, dat verbruikt meer, wél een Intel NIC ipv Realtek. Realtek NIC's zijn naar verluidt veel minder zuinig in verbruikt en minder stabiel in werking.
1 stikje RAM, type maakt niet heel veel uit maar 1 stikje zuiniger dan 2. Voor Home Assistant 8GB RAM voldoende dus dat is nog meer besparen.

Wat betreft SSD weet ik t niet helemaal zeker. Misschien is de volgende info achterhaald, maar dit is wat ik eerder heb begrepen na geprobeerd te hebben me goed in te lezen: Een SSD via een oude SATA aansluiting zonder M.2 zou t zuinigst zijn, M.2 via NVMe het snelst, SATA via M.2 (meerdere typen aansluitingen, oud en nieuw) niet zuiniger dan NVMe en minst aan te raden want hoger verbruik zonder veel sneller te zijn dan oude SATA aansluiting zonder M.2. Zoiets. Graag feedback als dit niet klopt en NVMe of SATA via M.2 nu even zuinig is als oude SATA aansluiting maar sneller. 128GB zou ruim voldoende moeten zijn voor Home Assistant. En is het, gezien t een tweedehands PC betreft en een SSD niet eeuwig mee gaat, verstandig om een nieuwe SSD aan te schaffen ondanks dat de systeempjes zelf vaak met 128GB of 256GB SSD komen?


P.S. Ik weet niet wat de opties zijn in Home Assistant OS qua intellingen om zuiniger verbruik te forceren, dingen als powertop - autotune en eventueel ASPM Realtek + Ethernet op 100Mbit foceren . Is dat mogelijk of moet je dan Home Assistant op een andere manier werkend krijgen, bijvoorbeeld via Proxmox zoals ik vaak genoemd zie worden. Doel is laagst mogelijke verbruik 😉 Ik wil sowieso ALLEEN Home Assistant op de Mini PC gaan draaien, niet meerdere VM's als pfSense gezamenlijk in Proxmox.

samtman in "Het grote zuinige server topic - deel 3"

Church of Noise in "Het grote zuinige server topic - deel 3"

[dabachata]

Kuusj schreef op dinsdag 14 november 2023 @ 15:15:
[...]

Heb hem inmiddels binnen, voor de meelezers in dit topic: gaat dus om de MInisforum UM480 XT (https://store.minisforum.de/products/venus-um480-xt-um560-xt), dat is een barebones met:
- AMD Ryzen 7 4800H (8C/16T, 2.9Ghz base, 4.2Ghz boost)
- RX Vega 7 op 1600Mhz (met x.265 10-bit hw-transcoding etc.)
- M.2 NVME slot op PCI-e 3.0 met 4 lanes
- SATA III slot voor één 2.5" SSD/HDD
- 2 SODIMM DDR4 slots (3200Mhz, max 64GB)
- Intel I-226v 2.5gbit netwerkpoort
- Zit een dual band Wifi AC-kaartje op een M.2 2230 slot (edit, kan ook een Wifi6E met BT 5.2 zijn)
- 2x USB 3.2 gen 2 (10gbit), 2x USB 2.0, en nog 1x USB Type C op 10gbit en een USB-C met DP1.4 en PD)
- 2x HDMI

Ik heb er barebones 179,- voor betaald. Heeft natuurlijk een onvergelijkbare hoeveelheid power méér dan een Intel N100. Heeft een maandje geduurd voordat hij er was, maar heb er vanmorgen even unRAID op gezet, en powertop --auto-tune. Ook getracht wat settings in de BIOS te veranderen maar daar ben ik nog mee bezig.

In ieder geval, met de standaard power-brick (zou level VI moeten zijn), en 2x16GB Crucial geheugen, een Samsung 980 van 500GB en een 1gbit/s netwerkkabel (heb de wifimodule eruit gehaald) doet 'ie idle in unRAID 5W. Vind dat persoonlijk wel erg netjes. Ik ga nog proberen of ik de originele 64GB 2230 SSD van mijn Steam Deck erin kan zetten. Je zou in theorie wel een M.2 PCI-e kaartje erin kunnen zetten waardoor je meer SSD's kunt gebruiken, daar zouden geen limitaties op zitten. Er is ook nog wel wat ruimte in het chassis.

Heb het TDP op 10W gelimiteerd want hij hoeft voorlopig toch alleen maar de Unifi Controller en HA te draaien.

Edit: ik zie in Powertop trouwens maar tot C3 gaan, dus C0, C1, C2 en C3. Zou ik er meer moeten kunnen zien? Heb wel geprobeerd die settings aan te passen in de BIOS.

LOL . Al dat Idle 5W nadat je de TDP begrensd hebt op 10W inclusief USB-C Alt DP met DP1.4 en PD, de poort die ik mis op heel veel Mini PC's ... ?! 🤩 Impressive!

[RobertMe]

dabachata schreef op zondag 18 augustus 2024 @ 21:09:
[...]


LOL . Al dat Idle 5W nadat je de TDP begrensd hebt op 10W inclusief USB-C Alt DP met DP1.4 en PD, de poort die ik mis op heel veel Mini PC's ... ?! 🤩 Impressive!

Wat is het nut van die combinatie op een servertje? Een servertje draait headless, daar hoeft geen scherm aan, en USB-C is dan ook geen "vereiste". Zou het leuk zijn als het er op zat? Sure. En dan is het ook nog maar de vraag hoe de combinatie werkt. Zoals een laptop, PCtje voeden via USB0C (vanaf een monitor en dus meteen beeld), of om een extern scherm te voeden via PD en meteen beeld die kant op te sturen? Of beide?

En dat schrijf ik nadat ik afgelopen 8 dagen mijn beide zelfbouw systeempjes (server + router), tot 2x toe, heb moeten afkoppelen + via "extra" kabels (heb geen HDMI aangesloten op monitor, en HDMI is de enige videoaansluiting op 1 van beiden) aansluiten op een monitor om in iets in het BIOS te doen. Anderzijds doet dat mij wel ook al de hele week twijfelen om misschien een simpele draagbare monitor te kopen. Maar use case is vrij beperkt (met 2 grote monitoren op het bureau al). En dat ik dan als ik die moet/wil gebruiken op server/router een adapter moet gebruiken is te overzien.

[GioStyle]

@RobertMe

Zonde om daar geld aan uit te geven, lijkt me. Ik heb hier geen één losse monitor meer. Als ik moet troubleshooten gebruik ik een tv als monitor.

[RobertMe]

GioStyle schreef op zondag 18 augustus 2024 @ 21:46:
@RobertMe

Zonde om daar geld aan uit te geven, lijkt me. Ik heb hier geen één losse monitor meer. Als ik moet troubleshooten gebruik ik een tv als monitor.

offtopic:
Puur voor incidenteel troubleshooten wel ja. Maar ik zit ook nog wel eens met laptop aan keukentafel of zo te werken. Dan kan het wel geinig zijn om een schermpje erbij te hebben. Maar ook dan is de kans best groot dat het "weggegooid" geld is voor mij ja.

En mijn zelfbouw router heeft ook een console port. Die ik ook wel al eens heb gebruikt om er nog in te komen toen het netwerk plat lag Kabel had ik eerder al ingeslagen, omdat mijn vorige router (UniFi Security Gateway) ook een console port heeft, en de UniFi Switch (8-150W) heeft ook een console port, en de EdgeRouter 4 bij familie heeft ook een console port. Dus altijd makkelijk om dan ook een kabeltje daarvoor te hebben om via serial console nog in te kunnen loggen

[andru123]

@dabachata ik denk dat Raspberry pi kan prima HA draaien.
Mischien wil je de grootste vraag - hoveel verbruikt HA systeem in 24 uur - iets bolder maken, veel mensen hier met HA, maar door veel text mischien niet zichtbaar. Er is ook een HA topic dacht ik.