Het grote zuinige server topic - deel 3

[mrmrmr]

cville schreef op maandag 28 november 2022 @ 13:32:
Wellicht kun je overwegen om dit adres toe te voegen; ik heb hem daar gisteren besteld. Op dit moment nog 22 stuks voorradig.

Toegevoegd. Deze leverancier heeft een lagere prijs als je via de Geizhals prijsvergelijker de site bezoekt. Jouw link doet dat via de utm_source parameter.

[mrmrmr]

Witte_200 schreef op maandag 28 november 2022 @ 15:21:
Mijn bestelling van de Kontron is terug gestort door NordPC… geen idee waarom…

Die wil nu 99 euro verzendkosten voor verzending naar buitenland bij de kassa. Ze hebben kennelijk geen zin in buitenlandse klanten.

Ik heb via een Duits afleveradres laten bezorgen.

[Witte_200]

cville schreef op maandag 28 november 2022 @ 13:32:
[...]


Wellicht kun je overwegen om dit adres toe te voegen; ik heb hem daar gisteren besteld. Op dit moment nog 22 stuks voorradig.

Bedankt voor de link! Heb hem nu ook daar besteld. Kon wel niet met PayPal betalen, dus als dat maar goed komt… 🤷

[cville]

Witte_200 schreef op maandag 28 november 2022 @ 16:00:
[...]


Bedankt voor de link! Heb hem nu ook daar besteld. Kon wel niet met PayPal betalen, dus als dat maar goed komt… 🤷

Daarom heb ik hem via een kennis in DE besteld die hem aan mij opstuurt. Ik heb de lijst van @mrmrmr behoorlijk doorgespit en veel reviews gelezen. Ik wist al dat men in DE behoorlijk achterloopt qua e-commerce maar het is nog veel erger dan ik dacht, dus inderdaad: als dat maar goed komt

[LittleKiller]

YouTube: How to Put USB-C Power on ANYTHING (almost)

Heeft er iemand ooit dit geprobeerd?

Ik moet zeggen dat ik maar 1 bron vind over de efficiency van een ugreen lader. Maar in principe zou dit nog wel eens interessant kunnen zijn. Als je server ergens in je meterkast staat, zou je natuurlijk je modem, je router en je server kunnen draaien vanaf 1 adapter.

Belangrijk is wel dat de lader efficient is, maar in principe zouden GaN laders efficienter zijn.. Hoewel ik het idee heb dat ze voornamelijk worden ingezet om de form-factor kleiner te krijgen

[Witte_200]

cville schreef op maandag 28 november 2022 @ 16:06:
[...]


Daarom heb ik hem via een kennis in DE besteld die hem aan mij opstuurt. Ik heb de lijst van @mrmrmr behoorlijk doorgespit en veel reviews gelezen. Ik wist al dat men in DE behoorlijk achterloopt qua e-commerce maar het is nog veel erger dan ik dacht, dus inderdaad: als dat maar goed komt

Aj aj… geen idee dat het daar zo slecht gesteld is bij onze Duitse vrienden. Ik heb met Apple Pay betaald, maar de transactie staat nog steeds “pending” ben benieuwd.

[mrmrmr]

LittleKiller schreef op maandag 28 november 2022 @ 20:34:
YouTube: How to Put USB-C Power on ANYTHING (almost)

Heeft er iemand ooit dit geprobeerd?

Ik moet zeggen dat ik maar 1 bron vind over de efficiency van een ugreen lader. Maar in principe zou dit nog wel eens interessant kunnen zijn. Als je server ergens in je meterkast staat, zou je natuurlijk je modem, je router en je server kunnen draaien vanaf 1 adapter.

Belangrijk is wel dat de lader efficient is, maar in principe zouden GaN laders efficienter zijn.. Hoewel ik het idee heb dat ze voornamelijk worden ingezet om de form-factor kleiner te krijgen

Voor AC naar DC omzetting is GaN bij een flinke belasting zuinig, maar ik heb nog geen grafieken of data gevonden die de efficiëntie aangeven bij laag verbruik van laders. Bijvoorbeeld bij 3W op een 100W adapter.

De meeste desktops werken op 12V (PicoPSU, sommige mini-ITX, ATX12V) of 19V (sommige mini-ITX). Standaard USB is 5V. Je hebt iets nodig dat onderhandelt via de USB-C poort om de spanning te verhogen naar bijvoorbeeld 12V. Wat Linus in zijn video zegt (en nogal snel verder gaat) is dat er USB-C kabels zijn die in de connector een converter hebben verstopt die daar voor zorgt.

Dus een "Type-C PD trigger" zou de juiste spanning moeten verzorgen. Maar hij zegt weinig over energieverbruik. Je hebt toch wel echt een goede reden nodig om alles om te bouwen.

Dan is er nog het nadeel dat er een spanningsonderbreking is zodra je iets aansluit, dus ook van de apparaten die al draaien.

En dan de prijs, van de totaalprijs van 90 euro (100W) van de geadverteerde Ugreen kun je ook een zuinige 12V adapter aanschaffen.

De Ugreen 45W versie heeft een review. Die geeft aan dat "de" efficientie tussen 86 en 90% is, afhankelijk van de spanning van 5V tot 20V. Dat is ongeveer hetzelfde als conventionele adapters, maar efficientie is geen constante. Het is bij maximale belasting gemeten, en dat is ver van het idle niveau. De efficientie in de praktijk ligt lager, waarschijnlijk een stuk lager bij 1 aangesloten apparaat, door het GaN ontwerp die een piek bereikt bij zware belasting.

Meer info over verbruik zou ik ook wel willen zien.

HDPlex
HDPlex heeft een GaN ATX voeding op 250W. Ze claimen wel een efficientie van 94% bij volledige belasting, maar het voldoet aan Level V terwijl DOE Level VI al een aantal jaar de standaard is. Het is misschien niet zo zuinig bij lage belasting. Daarom heb ik het niet eerder in dit topic genoemd.

Hierover zou ik ook wel eens efficientiewaarden willen zien.

HDPlex wordt vooral gebruikt in kleine gaming systemen omdat het veel vermogen kan leveren. Het is niet zo efficient als een PicoPSU.

[laurens362]

Witte_200 schreef op maandag 28 november 2022 @ 11:19:
[...]


Damn, ik merk het nu ook net 2018 vs 2021... En zo te lezen zijn er wel wat efficiëntie verschillen!

Eens navragen bij MeGekko of deze nog te annuleren valt.

Bedankt voor de opmerking!

Hij is nu wel in de aanbieding via een reseller bij bol.com

[Witte_200]

laurens362 schreef op dinsdag 29 november 2022 @ 08:00:
[...]


Hij is nu wel in de aanbieding via een reseller bij bol.com

Bedankt voor de tip! Ga hem gelijk bestellen.

[GoBieN-Be]

FuaZe schreef op zondag 27 november 2022 @ 14:33:
...
De grootste winst qua zuinigheid zou zitten in een grotere M.2 SSD, zodanig dat ik de 3.5" units niet meer nodig heb en wellicht ook de PicoPSU d'r aan zetten
....

Het is nu een 200W Gold PSU, die is op zich zeker niet slecht.
Het zijn vooral die 3,5" disks die het energie gebruik omhoog duwen.

Ik ben afgestapt van RAID in de server. Gewoon losse SSD's en natuurlijk wel back-ups.
Ik doe een off-site upload van back-ups naar blob storage in de cloud.

[FuaZe]

GoBieN-Be schreef op dinsdag 29 november 2022 @ 10:21:
[...]


Het is nu een 200W Gold PSU, die is op zich zeker niet slecht.
Het zijn vooral die 3,5" disks die het energie gebruik omhoog duwen.

Ik ben afgestapt van RAID in de server. Gewoon losse SSD's en natuurlijk wel back-ups.
Ik doe een off-site upload van back-ups naar blob storage in de cloud.

Hmm, ja.
Ik vindt de online backup platforms erg duur, voor media en backups eigenlijk niet de moeite waard.

Dus ik gebruik wat van zo'n gratis pakketten waar je 10-20GB (Google/OneDrive) kan opslaan voor de echt belangrijke bestanden.

Ik zou een (of twee) 2TB SSD's er in kunnen zetten, maar dat kost zo'n 300eu.

We krijgen binnenkort zonnepanelen; dus dan maakt het qua verbruik niet meer zo veel uit.

Dus ja, het is dan eigenlijk ook niet de moeite waard.

[cville]

FuaZe schreef op dinsdag 29 november 2022 @ 11:14:
[...]

We krijgen binnenkort zonnepanelen; dus dan maakt het qua verbruik niet meer zo veel uit.

Dus ja, het is dan eigenlijk ook niet de moeite waard.

Ik denk dat je je vergist. Voorbeeld: iedere kWh die ik van het dak gebruik kost me EUR0.465 aan gemiste inkomsten. In tegenstelling tot wat vaak beweerd wordt, is energie uit panelen niet gratis (nog los van de afschrijving).

[FuaZe]

cville schreef op dinsdag 29 november 2022 @ 16:35:
[...]


Ik denk dat je je vergist. Voorbeeld: iedere kWh die ik van het dak gebruik kost me EUR0.465 aan gemiste inkomsten. In tegenstelling tot wat vaak beweerd wordt, is energie uit panelen niet gratis (nog los van de afschrijving).

2x 2TB SSD aanschaffen is ook niet goedkoop.

Met 9cent/kWh en een verbruik van 20watt/uur, duurt het flink wat jaartjes voordat dat er uit is.

Het beetje warmte wat van die HDD's af komt is overigens ook niet verloren, wordt de kelder iets minder koud


En ja, die panelen zijn niet gratis, maar ik geef de stroom heel graag niet terug aan de energiemaatschappij, zodat ze 'm daarna duur kunnen verkopen.

[Voor 11% gewijzigd door FuaZe op 29-11-2022 16:41]

[Jan Smit]

Jan Smit schreef op donderdag 24 november 2022 @ 12:03:
Inmiddels heb ik een leuk zuinig systeempje gemaakt. 6,5 Watt idle met een i3-6100, ssd, 8 12 GB, picopowerpsu, w10, debloaten, lenovo desktopding.

Top.

1) Heeft iemand op zijn zuinige systeem bare-metal xpenology draaien en welke verbruikscijfers krijg je dan?
2) Is het gunstiger, qua verbruik, onder proxmox te draaien of bare-metal?
3) op mijn echte synology gaan de fysieke HD-drives niet in standby, dus hoger verbruik. Dat schijnt een ding te zijn in DSM. Iemand tips?

Even antwoorden op mijn eigen vraag:

1) mijn 6,5 W idle W10 doet met bare-metal Xpenology 8 Watt. Netjes. Er zit dan geen mechanische schijf in. XPenology draait vanaf USB, met de redpill loader.
2) Proxmox op dit systeem doet bij mij al zonder enige virtuele machine 17 W en lijkt dus niet naar volledig C8/idle te gaan.
3) Ik vond een scriptje om Synofinder indexeerder (ofzo) uit te zetten. Samen met een externe USB 3,5" disk werkt dit; de externe schijf gaat gewoon in slaapstand. De PC blijft op 8 Watt.

[zaphod_b]

Ik ben een beetje door de bomen het bos kwijt. Wellicht kan ik hier wat suggesties op doen. Vlak voor de elektra-prijzen door het dak knalden heb ik m'n Unraid server geupgrade.... naar achteraf iets dat veel te veel stroom verbruikt met de huidige prijzen. Ik ben dus nu op zoek naar een alternatief dat veel minder stroom verbruikt.

Wat ik nu heb:
- AMD Ryzen Threadripper 2920X
- 32 GB DDR4 (Non-ECC)
- 2x PNY NVME SSD 1 TB
- 1x PCIE-16x insteekkaart met 2x 1 TB Samsung NVME's, heeft PCIE-bifurcation nodig. Deze kaart kan eventueel weggelaten worden.
- 3 x 16TB Seageate Exos HDD's
- 1 x PCIEx4 Coral TPU
- 1 x PCIEx16 NVidia P2000 GPU

De GPU kan weggelaten worden indien ik ga voor een Intel CPU met hardware-encoding (h264/h265/av1). De ASUS insteekkaart met de NVME's is optioneel, ik kan zonder. De rest is wel een must om te behouden, dus: 2x NVME, 3x SATA (liefst 4x voor mogelijke uitbreiding) en de PCIE-kaart met de Coral TPU.
En oja, ik heb nog een leeg PCIE-slot nodig voor m'n BliKVM. Deze gebruikt geen stroom of PCIE-data, maar zit gewoon in het slot zonder connectie met het moederbord. Neemt echter wel fysiek ruimte in.

Het geheel het liefst in een klein en zuinig doosje . En stil als het even kan.

Wat draait erop?
3xVM: 1x Home Assistant, 1x een kleine Linux VM met nauwelijks load, 1x een Mastodon server die ik nog eens wil opzetten maar waar nu niks op draait.
Stuk of 25 docker instances. Geen hoge load.

Ik zit nu op m'n huidige machine op een idle power van 72W. Dat vind ik fors hoog. Idealiter kom ik onder de 25W uit.

Iemand goede suggesties? Ik heb de voorkeur voor eenvoudig, off the shelf.

[Voor 6% gewijzigd door zaphod_b op 01-12-2022 12:22]

[Mich]

Ik ben nu al een paar weken aan het zoeken naar een ideaal moederboord voor een i3-12100 of i5-12400.
Ik heb er best 300 a 350 euro voor over voor een goed mobo met 2 LAN poorten die een beetje zuinig draait.

Ik zie op de Kontron website nog 2 mooie mini-ATX borden die binnenkort uitkomen:

https://www.kontron.com/en/products/k3833-q-mitx/p176291

Hebben 2 LAN poorten. Dat heb ik nodig omdat ik hem als router wil gebruiken. Echter zit hier SO-DIMM geheugen op. Is dit echt een nadeel t.o.v. normaal geheugen?

Ik zie op hun site ook nog dit micro-ATX bord. Die lijkt een beetje op de K3843-B µATX die hier veel voorbij komt en heeft wel 2 LAN poorten.

https://www.kontron.com/en/products/k3841-q-uatx/p172727

Echter kost deze 400+ euro.


Zijn de normale Asus, MSI, ASrock moederboorden (mini of micro ATX) echt zoveel hoger in verbruik dan een Kontron bord? Ik kan er op wat metingen in dit topic na heel weinig over vinden helaas.


edit:
Ik denk dat deze het gaat worden:
uitvoering: ASRock Z790M-ITX WiFi

[Voor 8% gewijzigd door Mich op 01-12-2022 14:11]

[jvwou123]

Polyphemus schreef op zaterdag 15 oktober 2022 @ 13:17:
[...]


Knap werk dat je je Ryzen op 11W idle krijgt; mijn Ryzen 5600G, met Proxmox zonder gestarte VMs en met alle stroombesparende parameters krijg ik niet onder de 25W idle...

Ik heb mijn DeskMini X300 met een Ryzen 5 Pro 4650G er in, met proxmox en daarop een virtuele ubuntu die niets doet, en een virtuele windows die PRTG doet, en nog een hoop andere dingen, draaien rond de 10 watt:


net powertop --auto-tune gedraaid, en dat scheelt toch 0,2 watt of zo

Ik ben nu aan het kijken hoe ik diensten vanaf mijn NAS (918+) die toch rond de 35-40 watt vraagt kan overzetten naar die server. En dan die NAS met enige regelmaat uit of zo. Eerst maar eens in kaart brengen wat ik uberhaupt gebruik op die NAS.

[jvwou123]

jvwou123 schreef op donderdag 1 december 2022 @ 13:55:
[...]


Ik heb mijn DeskMini X300 met een Ryzen 5 Pro 4650G er in, met proxmox en daarop een virtuele ubuntu die niets doet, en een virtuele windows die PRTG doet, en nog een hoop andere dingen, draaien rond de 10 watt:
[Afbeelding]

net powertop --auto-tune gedraaid, en dat scheelt toch 0,2 watt of zo

Ik ben nu aan het kijken hoe ik diensten vanaf mijn NAS (918+) die toch rond de 35-40 watt vraagt kan overzetten naar die server. En dan die NAS met enige regelmaat uit of zo. Eerst maar eens in kaart brengen wat ik uberhaupt gebruik op die NAS.

Ik zie dat ik een foutje heb gemaakt. Ik was er vanuit gegaan dat Windows automatisch zou starten op mijn proxmox server, maar dat deed ie niet. Resultaat: hij verbruikt nu watt meer.

[martdj]

Ik zit te kijken naar het upgraden van mijn server. Ik zie in dit topic vooral relatief kleine servers qua processorkracht en geheugen. De dingen die ik met mijn server doe, vragen echter veel cores en veel geheugen. Ik ben op zoek naar een server met minstens 8 echte cores (met HT) en beginnend met 64GB geheugen, uitbreidbaar naar 128GB. En dat dan nog steeds zo zuinig mogelijk.
Mijn voeding (Seasonic Focus 80+ 450W), harde schijven en mijn kast wil ik meenemen van mijn huidige server. Het gaat dus puur om de vervanging van mijn moederbord, cpu en geheugen. Wat zouden jullie hiervoor aanraden?

[mrmrmr]

@zaphod_b Ik zou beginnen met analyseren wat de VM's per stuk verbruiken en wat de containers individueel verbruiken.

Dan zou ik bekijken wat de overgebleven processen nog verbruiken qua processortijd.

Vervolgens kun je de hardware extra's ook een voor een uit de computer halen en steeds bijhouden wat het verbruik is.

Zodoende weet je wat veel verbruikt en waar je het kan aanpakken.

Wat verbruikt het systeem in de basis zonder last, zonder extra's, wel met monitor in slaapstand, 1x boot SSD, USB bedraad toetsenbord en muis?

Dat geeft een basis voor vergelijkingen.

@martdj Het gaat bij servers vooral om het idle verbruik. Als je niet echt een idle verbruik hebt door een continue last, dan gaat de efficientie van de processor/het platform een belangrijke rol spelen.

Dat gezegd hebbende, ik zou vooral kijken of er wat te snoeien valt in de software. Bijvoorbeeld uitzetten van wat niet nodig is en zware taken zoals loggen tot een minimum beperken.
Je kunt bijvoorbeeld als eerste overbodige logging stoppen en daarna de logfrequentie verlagen van de overgebleven logging. Sommige monitoring tools kunnen een zware belasting veroorzaken, meestal zonder aantoonbaar nut. Leuke grafieken zijn leuk, maar het daadwerkelijk nut is belangrijker.

Een ATX voeding heeft bij lage belasting een te hoog verbruik, dan zou je PicoPSU kunnen gaan overwegen, maar bij zware continue belasting van bijvoorbeeld 50W of meer wordt een ATX voeding beter.

Het klinkt alsof je VM's gebruikt. Het nadeel is dat doordat er dan nóg een compleet besturingssysteem op draait, dat veel dingen twee of meer keren worden gedaan. Dat kost processortijd en geheugen.
Voor verbruik kun je VM's zoveel mogelijk te vermijden en containers gebruiken of nog beter: rechtstreeks op het basisbesturingssysteem te draaien. Bijvoorbeeld taken zoals een mail of web server zijn daar voor geschikt. Als je om veiligheidsreden een scheiding wilt, daar zijn software-oplossingen voor zoals containers of op nog lager niveau de systemd configuratie.

[mrmrmr]

Mich schreef op donderdag 1 december 2022 @ 13:53:
Hebben 2 LAN poorten. Dat heb ik nodig omdat ik hem als router wil gebruiken. Echter zit hier SO-DIMM geheugen op. Is dit echt een nadeel t.o.v. normaal geheugen?

Nee, dat kan iets voordeliger zijn qua verbruik. Het beste is het geheugen op standaard JEDEC snelheid te draaien (4000 of 4400 MHz) en zo weinig mogelijk DIMMs toe te passen. Geen XMP profiel vanwege het extra verbruik, wel een standaard SPD profiel.

Zijn de normale Asus, MSI, ASrock moederboorden (mini of micro ATX) echt zoveel hoger in verbruik dan een Kontron bord? Ik kan er op wat metingen in dit topic na heel weinig over vinden helaas.

Er is een verschil van 5 tot 15W tussen de K3943-B en andere relatief zuinige 12th gen borden. Hoeveel precies hangt af van configuratie en hoe goed het moederbord is met low power modes.

edit:
Ik denk dat deze het gaat worden:
uitvoering: ASRock Z790M-ITX WiFi

Het heeft WiFi en BlueTooth aan bord, de zender kost meer energie, daarvan kan misschien het kaartje worden verwijderd. Het bord heeft 2x Intel netwerkchips, wat meestal zuinig is. Bij ethernet geldt in het algemeen: hoe lager de snelheid, hoe lager het verbruik. 1 Gbps is beter dan 2.5 Gbps, en 100 Mbps is flink zuiniger dan 1 Gbps.

PCIe 5.0 is met zijn hoge snelheden in principe geen zuinig slot. Ook daarvoor geldt: hoe sneller, hoe meer verbruik.

Kontron schakelt vermoedelijk de stroomvoorziening uit als onderdelen in low power stand staan. Andere merken doen dit schijnbaar niet in die mate op desktops. Je ziet wel ongeveer hetzelfde effect bij mini-computers die geen normale PCIe slots hebben.

[Mars Warrior]

@Mich , een 590M doet 8W met een ATX voeding. Dat is 10/11gen.

Of de nieuwere versies het ook zo goed doen weet ik niet. Kan er geen cijfers van vinden.

De 590M: https://www.hardwareluxx....101/page-70#post-28762476

[Mich]

Mars Warrior schreef op donderdag 1 december 2022 @ 18:59:
@Mich , een 590M doet 8W met een ATX voeding. Dat is 10/11gen.

Of de nieuwere versies het ook zo goed doen weet ik niet. Kan er geen cijfers van vinden.

De 590M: https://www.hardwareluxx....101/page-70#post-28762476

Dank voor de link. dit is een interessant topic. Ook al is mijn duits niet heel goed
Ik zie wel andere bordjes met Z690 of B660 voorbij komen die iets hoger scoren maar nog wel ok.


@mrmrmr Bedankt voor al je info! Ik zie (ook na het lezen van bovenstaande link) idd groot verschil in Tektron en veel andere mobo's. Het is op de normale consumenten markt bijna niet mogelijk om moederboorden te vinden zonder WLAN en BT. Ik had wel het idee (de hoop) dat als je het uit zet het misschien ook geen vermogen kost, maar goed de kans dat je het puur en alleen software matig uitzet kan ook.

Die 2 LAN poorten zijn hoe dan ook nodig dus daar kan ik niet veel op bezuinigen, er had anders een losse kaart ingekomen. Dat PCI slot gebruikt ik niet. Tenzij er een mogelijkheid komt om via een SFP connector direct mijn glas verbinding in mijn pc te krijgen. (dat kost weer wat extra watts maar die heb ik nu ook.

Ik denk dat ik tevreden ben als ik mijn systeem tussen de 10 en 15W kan krijgen. De PicoPSU en een 1 TB ssd (samsung 980 pro) liggen al klaar. Stapje voor stapje krijgt het meer vorm.

[renedis]

LittleKiller schreef op maandag 28 november 2022 @ 20:34:
YouTube: How to Put USB-C Power on ANYTHING (almost)

Heeft er iemand ooit dit geprobeerd?

Ik moet zeggen dat ik maar 1 bron vind over de efficiency van een ugreen lader. Maar in principe zou dit nog wel eens interessant kunnen zijn. Als je server ergens in je meterkast staat, zou je natuurlijk je modem, je router en je server kunnen draaien vanaf 1 adapter.

Belangrijk is wel dat de lader efficient is, maar in principe zouden GaN laders efficienter zijn.. Hoewel ik het idee heb dat ze voornamelijk worden ingezet om de form-factor kleiner te krijgen

Dit is wat ik thuis heb maar dan icm een 12v UPS en gebruik ik barrelplugs aan beide einden ipv USB-C. Mijn glas-converter, Honeywell gateway en kattenluik sensor/gateway zitten hier op aangesloten. De ene verbruikt 5V, de andere 2 12V.

Die GaN laders zijn op lage belasting helemaal niet efficiënt overigens. Mijn Seasonic 65w vs mijn GaN (Ugreen) 65w:

Voor bovengenoemde 3 devices (en 12v UPS):
Seasonic 6,63w gemiddeld
GaN 8,69w gemiddeld

Klinkt niet als zo’n groot verschil, maar is toch bijna 24% verschil. Daar in tegen is de GaN lader wel 3 keer zo klein als de traditionele Seasonic lader.


P.S. Als je alles naar 1 bron wilt voor de stroom distributie wilt zou ik eens kijken naar een PoE oplossing. Ik heb inmiddels een 400w PoE switch van Ubiquiti welke met PoE++ tot wel 12v/90w+ kan leveren per poort. Langzaam aan ben ik aan het overstappen naar “all-PoE” devices incl mijn NAS met PicoPSU-90w.

[mrmrmr]

renedis schreef op donderdag 1 december 2022 @ 20:32:
[...]


Dit is wat ik thuis heb maar dan icm een 12v UPS en gebruik ik barrelplugs aan beide einden ipv USB-C. Mijn glas-converter, Honeywell gateway en kattenluik sensor/gateway zitten hier op aangesloten. De ene verbruikt 5V, de andere 2 12V.

Die GaN laders zijn op lage belasting helemaal niet efficiënt overigens. Mijn Seasonic 65w vs mijn GaN (Ugreen) 65w:

Voor bovengenoemde 3 devices (en 12v UPS):
Seasonic 6,63w gemiddeld
GaN 8,69w gemiddeld

Bedankt voor de meting! Dat is nog slechter dan het vermoeden dat ik had. Het is ook nog zo dat de overhead van meerdere spanningen als output meestal een ongunstig effect heeft op efficientie.

GaN wordt ook toegepast bij heel grote ATX voedingen (1000W en meer), enerzijds vanwege het voordeel van de omvang en anderzijds vanwege de zuinigheid die bij zware belasting gehaald kan worden. Fabrikanten zijn erg terughoudend in het delen van een grafiek met efficientiegegevens. Als ze het wel tonen begint die grafiek pas bij hoge last.

P.S. Als je alles naar 1 bron wilt voor de stroom distributie wilt zou ik eens kijken naar een PoE oplossing. Ik heb inmiddels een 400w PoE switch van Ubiquiti welke met PoE++ tot wel 12v/90w+ kan leveren per poort. Langzaam aan ben ik aan het overstappen naar “all-PoE” devices incl mijn NAS met PicoPSU-90w.

PoE is doorgaans niet zuinig, heb je het totaal nagementen?

ATX voedingen moeten aan eisen voldoen (ripple en spanningsbereik bijvoorbeeld), daarom kan niet elke adapter worden toegepast, ondanks dat de PicoPSU nog iets gladstrijkt.

[andru123]

@renedis welke Seasonic - 12V ? - en hoe is het aangesloten op 3 devices? Met 3 way splitter? En hoe dan met 5V device?

[zaphod_b]

mrmrmr schreef op donderdag 1 december 2022 @ 18:24:
@zaphod_b Ik zou beginnen met analyseren wat de VM's per stuk verbruiken en wat de containers individueel verbruiken.

Dank, maar dat vind ik dus eigenlijk teveel gepiel. Ik ben vooral op zoek naar zuinige hardware ter vervanging van de AMD-TR en dito mobo. Ook een andere voeding zal wel moeten denk ik (nu iets van een 600W ofzo).
Eigenlijk wil het geheel ombouwen naar een mini/micro ATX kastje voor in de meterkast. Nu zit het geheel in een flinke towerkast onder m'n bureau.

Ik kwam na wat klikken in de Pricewatch bijvoorbeeld uit op de https://tweakers.net/pric...ghtning-d4/specificaties/. Die zou ik kunnen combineren met bijvoorbeeld een https://tweakers.net/pric...2400-boxed/specificaties/. Geen idee wat dat bij elkaar verbruikt, maar ik vermoed wel stukken lager dan een AMD ThreadRipper...

Iemand ervaring met dit mobo en/of CPU?

[Mars Warrior]

zaphod_b schreef op vrijdag 2 december 2022 @ 12:35:
[...]

Dank, maar dat vind ik dus eigenlijk teveel gepiel. Ik ben vooral op zoek naar zuinige hardware ter vervanging van de AMD-TR en dito mobo. Ook een andere voeding zal wel moeten denk ik (nu iets van een 600W ofzo).
Eigenlijk wil het geheel ombouwen naar een mini/micro ATX kastje voor in de meterkast. Nu zit het geheel in een flinke towerkast onder m'n bureau.

Ik kwam na wat klikken in de Pricewatch bijvoorbeeld uit op de https://tweakers.net/pric...ghtning-d4/specificaties/. Die zou ik kunnen combineren met bijvoorbeeld een https://tweakers.net/pric...2400-boxed/specificaties/. Geen idee wat dat bij elkaar verbruikt, maar ik vermoed wel stukken lager dan een AMD ThreadRipper...

Iemand ervaring met dit mobo en/of CPU?

Voor die prijs kun je ook een Kontron nemen...

[martdj]

@mrmrmr Het aantal VMs valt mee. Drie stuks waarvan ik aan het kijken ben of ik er nog eentje kan omzetten naar een container. Wel veel containers en ik wil er een K3s-omgeving opzetten. Daar heb ik nu te weinig cores en geheugen voor.

Maar ik zoek dus eigenlijk welk moederbord (met 4 geheugensloten en 6 SATA poorten) en welke cpu ik het beste kan nemen om toch een beetje zuiinig uit te komen.

[Mars Warrior]

martdj schreef op vrijdag 2 december 2022 @ 18:09:
@mrmrmr Het aantal VMs valt mee. Drie stuks waarvan ik aan het kijken ben of ik er nog eentje kan omzetten naar een container. Wel veel containers en ik wil er een K3s-omgeving opzetten. Daar heb ik nu te weinig cores en geheugen voor.

Je weet dat k3s een enorme load genereert door de continue health check? Als je dit ook nog eens in een VM draait dan wordt de I/O performance ook op de proef gesteld uitgaande van een virtuele disk.

Mijn ervaring is van 1 jaar geleden, maar ga ervan uit dat er wat dat betreft niets veranderd is…

Verder snap ik je punt romdom genoeg cores niet zo. Alleen bij flinke belasting heb je die nodig. Ik draai moeiteloos 100 docker containers op een 10 jaar oude quadcore. Wel bare-metal, want VM’s vreten RAM.

Maar ik zoek dus eigenlijk welk moederbord (met 4 geheugensloten en 6 SATA poorten) en welke cpu ik het beste kan nemen om toch een beetje zuiinig uit te komen.

Dat betekent dus een zuinig uATX bord als je 128GB wilt kunnen inprikken. Kontron doet dacht ik 4x SATA. Maar met 2 M2 sloten kun je één van die sloten misbruiken voor een SATA converter kaart. Heb je zo 2-6 extra SATA poorten.

[mrmrmr]

@martdj

@Mars Warrior heeft dit over K3s geschreven: Mars Warrior in "Het grote zuinige server topic - deel 3"

Het verbruik van het moederbord is hiermee vergeleken klein bier. Je kunt er voor kiezen het systeem alleen aan te zetten als je het wil gebruiken. Operationele zaken kunnen op een ander, zuiniger systeem.

Wil je met een zwaar belast systeem aan de slag, ga er dan van uit dat je systeem tamelijk veel zal gaan verbruiken. Kijk dan eens onder de gepinde posts, ook van deel 2, voor moederborden.

4x SATA is tegenwoordig standaard. 6x is zeldzaam behalve in workstation/highend chipsets en op borden met ASMedia controller, die meer verbruikt dan normaal SATA.

Er is weinig bruikbare informatie over het verbruik van processoren onder belasting. Veel tests gaan over gaming, belasten dus vooral de grafische kaart. Je kan kijken naar tests van processoren die het verbruik aangeven in Wh (Watt-uur) of Ah (Ampère-uur). Dat is het totaal stroomverbruik om een taak uit te voeren. Als een systeem continu zwaar belast is, is dat uiteindelijk van belang.

Bij servers die laag belast zijn is het idle verbruik van belang.

[Eymas]

Eigenlijk nooit bij stil gestaan over het idle verbruik van een management systeem. Ik gebruik zelf portainer i.p.v. k3s, wellicht dat ik eens kan meten hoeveel dat verbruikt.

[RobertMe]

Eymas schreef op zaterdag 3 december 2022 @ 11:32:
Eigenlijk nooit bij stil gestaan over het idle verbruik van een management systeem. Ik gebruik zelf portainer i.p.v. k3s, wellicht dat ik eens kan meten hoeveel dat verbruikt.

Portainer is AFAIK alleen maar een UI over Docker? Zal dus allemaal wel meevallen.

Kubernetes / K8s (en daarmee dan ook K3s) doet zoals al is aangegeven ook een berg monitoring, zowel van de server als alle pods. Dit dus om automatisch falende pods opnieuw op te starten, als een server wegvalt zaken op een andere server te starten, .... Dit zorgt allemaal voor overhead. En met health checks die elke X seconden worden uitgevoerd is dat toch weer een zaak die het systeem uit idle houdt.

Waarbij eerdere posts van @Mars Warrior ook al beschreven hebben dat Docker Swarm, waarmee je ook een clustertje kunt opzetten, al veel lichter in gebruik is dan K3s.

Edit:
Overigens ook niet vergeten dat Kubernetes zelf ook weer veel software bevat die met Docker gewoon ontbreekt. Zoals een complete key/valye store (/database). Alleen om dus de configuratie van de cluster in bij te houden. Ook dat verbruikt extra ten opzichte van een plain Docker, al dan niet met een GUI erop. (Want die GUI doet "niks" zolang je hem niet gebruikt).

[Voor 16% gewijzigd door RobertMe op 03-12-2022 11:46]

[Mars Warrior]

Eymas schreef op zaterdag 3 december 2022 @ 11:32:
Eigenlijk nooit bij stil gestaan over het idle verbruik van een management systeem. Ik gebruik zelf portainer i.p.v. k3s, wellicht dat ik eens kan meten hoeveel dat verbruikt.

Portainer is enkel een webinterface over Docker heen. Het verbruik hiervan is te verwaarlozen.

De control laag van Kubernetes (k8s) en derivaten als k3s en k0s (er zijn er nog meer) controleert tig keer per seconde de status van elke container en legt deze ook nog eens vast in een (gedistribueerde) database.

Voor een systeem bestaande uit een groot aantal nodes en services best wel van belang: bij uitval van een node en services worden deze zo snel mogelijk op een andere node weer herstart.

In geval van een thuisserver (single node) is dat erg veel onnodige overhead.
Docker zelf is ook mede hierdoor een healtcheck gaan supporten en ontwikkelaars zijn dit gaan implementeren. Het gevolg is dat sommige containers elke seconde een shell script starten om zichzelf te controleren. Met 100 containers had ik op deze manier 100 scripts / seconde

Dat gaf een zodanige belasting dat scriots niet snel genoeg konden draaien, en dus een “unhealthy” status afgaven, en uiteindelijk containers begonnen te herstarten, en dus een nog hogere load

In Portainer is te zien of een container healtchecks doet: de status healthy / not healthy zie je dan ipv started/running.

(Ik type niet zo snel op mijn iPad, @RobertMe )

[Mars Warrior]

Nog als extra: Idle CPU usage of k3s is high and continuously increases over time. deze post is van maart 2022 dus k3s heeft dit cpu probleem nog steeds…

Op de master node:



En de agent node vertoont hetzelfde gedrag:



Dit is dus idle verbruik hè!

Voor mij dus erg herkenbaar. En als je dit op van die 2de hands kleine platte doosjes draait, dan is je beloning een continue hoorbare fan

Mijn NUC met oa Home Assistant en alles eromheen doet 1-3% cpu

[Voor 19% gewijzigd door Mars Warrior op 03-12-2022 12:10]

[RobertMe]

Mars Warrior schreef op zaterdag 3 december 2022 @ 12:02:
Mijn NUC met oa Home Assistant en alles eromheen doet 1-3% cpu

Dat cijfer kan ik beamen. Gisteren volgens mij voor de eerste keer in bijna 3 jaar dat ik Proxmox draai wat door de UI zitten te klikken. De LXC met Home Assistant, DSMR Reader, ESPHome, PostgreSQL, InfluxDB, Grafana gebruikt om en nabij 3% CPU.

De LXC met alleen de UniFi Network Controller en PiHole gebruikt ook ongeveer 2,5%. Stop ik de UniFi Controller is het meteen < 0,5. Maar dat is natuurlijk ook een Java applicatie met MongoDB als storage. Vervolgens de hardware (6 stuks) die periodiek aanklopt om aan te geven dat ze nog verbonden zijn en informatie uit te wisselen (welke clients verbonden zijn, internet verbruik incl. DPI statistieken, ...). Voelt dan eigenlijk ook een beetje onzinnig.

[Jormungandr]

Tjah het is natuurlijk ook altijd wat. Je kan even goed de hele boel afzetten en dan verbruik je 0 watt. De echte uitdaging is imo de combo zuinige hardware/software+eigen requirements. Als die eigen reqs een 5tal VM’s zijn, dan moet je daar rond werken. Je kan altijd kijken of je die idd niet in een container kan draaien maar uiteindelijk ga je altijd voor wat het beste bij je workload past.

Ik ben zelf al heel lang aan het denken aan de combo NAS en k8s en hoe dat lekker samen kan op 1 systeem.
Als je ziet dat het momenteel op basis van esx met HBA in passthrough (nas) en pure debian vm’s is (k8s) dan kan je a veel winnen door slimme keuzes te maken op het platform en OS zonder te raken aan wat je uiteindelijk zelf wil als eindresultaat. We’re all tweakers at the end of the line.

[zaphod_b]

Mars Warrior schreef op vrijdag 2 december 2022 @ 14:31:
[...]

Voor die prijs kun je ook een Kontron nemen...

Ik heb het hier nu al een paar keer voorbij zien komen en ook zelf wat naar gezocht. Maar wat is dan concreet zo gaaf / goed aan die Kontron bordjes? Besparen die zoveel energie dat het echt de moeite waard is? Waar hebben we het dan over qua energiebesparing tov een "normaal" consumenten moederbord?

Misschien domme vragen allemaal, maar ik verdiep me pas sinds enkele dagen een beetje in "hoe krijg ik m'n server een stuk zuiniger" en het duizelt me nog wat.

[Voor 14% gewijzigd door zaphod_b op 04-12-2022 15:22]

[Mars Warrior]

zaphod_b schreef op zondag 4 december 2022 @ 15:22:
[...]
Ik heb het hier nu al een paar keer voorbij zien komen en ook zelf wat naar gezocht. Maar wat is dan concreet zo gaaf / goed aan die Kontron bordjes? Besparen die zoveel energie dat het echt de moeite waard is? Waar hebben we het dan over qua energiebesparing tov een "normaal" consumenten moederbord?

Misschien domme vragen allemaal, maar ik verdiep me pas sinds enkele dagen een beetje in "hoe krijg ik m'n server een stuk zuiniger" en het duizelt me nog wat.

Snap ik. Kontron laat je idle waarden (SSD en netwerk aangesloten) van lager dan 3W halen. Andere zuinige bordjes zitten al snel tussen de 6 en 9W idle.

Die 3-6W is natuurlijk niet schokkend als je over een jaar kijkt, maar over langere termijn en stijgende enrgieprijzen is het toch weer mooi meegenomen

En als twee bordjes allebei ca €200 kosten en de functies bieden die je nodig hebt, waarom dan niet het bord kiezen dat operationeel de laagste kosten heeft

Verder zijn de Kontron bordjes bedoeld voor 24x7 gebruik, dus typisch goed geschikt voor een server

[Voor 4% gewijzigd door Mars Warrior op 04-12-2022 17:32]

[zaphod_b]

Mars Warrior schreef op zondag 4 december 2022 @ 17:28:
[...]

Snap ik. Kontron laat je idle waarden (SSD en netwerk aangesloten) van lager dan 3W halen. Andere zuinige bordjes zitten al snel tussen de 6 en 9W idle.

Dank voor je uitleg, dat helpt!
Dus bijvoorbeeld een Kontron K3842-Q met een Intel Core i5-12400 zou dus helemaal prima zijn? Als ik het goed zie kan dit geheugen erbij: uitvoering: Corsair Vengeance CMK32GX5M2B5600C36
Dan nog een voeding... Ik zie hier ook dingen voorbij komen met een exotische voeding zoals een Mini-Box PicoPSU. Daar moet ik nog even naar kijken...
En de stock CPU cooler van Intel? Is die een beetje ok tegenwoordig of toch een andere?

[mrmrmr]

@zaphod_b Het idle verbruik onder Debian is 2,8W (met extra zuinige adapter en PicoPSU-80), maar zodra het (besturings-)systeem iets doet schiet het verbruik omhoog. De processor regelt de frequentie (pstate) en die is denk ik daar mede voor verantwoordelijk.

Een stabieler laag idle verbruik zie je bij 9th gen, de Fujitsu D3643-B met Pentium Gold processor. Die schiet niet zo snel omhoog en/of het verbruik neemt niet zoveel toe. Of bij goed een ontworpen borden met een N processor (atomachtige). Die blijven redelijk laag verbruiken.

[MuVo]

Een tip om deze video te kijken als je bewust bezig bent met het verlagen van het verbruik van je server:

Weet niet of die hier al is gepost.
Ik zelf heb er tips uit gehaald. Als ik mijn server niet kan verbeteren minimale acceptabel idle verbruik, dan moet er nieuwe hardware komen. Ga dit topic maar eens door lezen, loop achter vanuit een vorige reeks.

[mrmrmr]

MuVo schreef op zondag 4 december 2022 @ 23:19:
Weet niet of die hier al is gepost.

Ja, mijn reactie staat hier.

Ik zie nog iets, hij laat een PicoPSU zien met rode stekker, dat is het verkeerde type. Die zijn bedoeld voor auto's die een sterk wisselende spanning hebben doordat ze door een autobatterij worden gevoed. Deze wide input (WI) kost extra energie, de types bedoeld voor computers zijn zuiniger. De PicoPSU-80 (80W) is verder zuiniger dan een PicoPSU-160XT (160W). Het meest gekozen wordt de PicoPSU-90, die heeft een 4-pin CPU voedingskabel.

[zaphod_b]

mrmrmr schreef op maandag 5 december 2022 @ 00:16:
[...]
Het meest gekozen wordt de PicoPSU-90, die heeft een 4-pin CPU voedingskabel.

Is er eigenlijk al een slimmerik die iets van een bracket heeft gemaakt (3D print?) om die rare PicoPSU te kunnen monteren op de plek van een normale ATX voeding in een kast? Want zoals ik die PicoPSU nu zie kan ik die niet mooi/netjes in een mini-ATX kast kwijt...

[NordicMan]

zaphod_b schreef op maandag 5 december 2022 @ 13:07:
[...]

Is er eigenlijk al een slimmerik die iets van een bracket heeft gemaakt (3D print?) om die rare PicoPSU te kunnen monteren op de plek van een normale ATX voeding in een kast? Want zoals ik die PicoPSU nu zie kan ik die niet mooi/netjes in een mini-ATX kast kwijt...

https://www.thingiverse.c...type=things&sort=relevant

Voor elke wel wat wils

[Rembock]

zaphod_b schreef op maandag 5 december 2022 @ 13:07:
[...]

Is er eigenlijk al een slimmerik die iets van een bracket heeft gemaakt (3D print?) om die rare PicoPSU te kunnen monteren op de plek van een normale ATX voeding in een kast? Want zoals ik die PicoPSU nu zie kan ik die niet mooi/netjes in een mini-ATX kast kwijt...

Yup, zie onderstaand
Heb de DC Jack met een soldeerbout losgehaald en de kabel verlengt met een gelijkwaardig AWG-nummer kabel, hierna met een plastic plaatje het gat dicht gemaakt en de DC jack er doorheen gelust.

[RobertMe]

RobertMe schreef op dinsdag 22 november 2022 @ 18:17:
Anderhalve week terug op AliExpress een mini PC met Intel N5105 besteld. Specifiek de "GK3V Pro": https://nl.aliexpress.com/item/1005001321908776.html
Intussen ontvangen en snel opgestart (Windows 11 preinstalled), updates laten installeren etc. Nu die klaar is meet ik met een (niet nauwkeurige?) Fibaro tussenstekker een verbruik van 4,7W. Dit is met ethernet, HDMI en een USB tobo/muis ontvanger aangesloten. Enige aanpassingen in Windows zijn het uitschakelen van wifi & bluetooth, het aanpassen van het energieprofiel naar "Best power efficiency" en het uitschakelen van de monitor na 1 minuutje.

Hardware die er in zit is onbekend (RAM, SSD, etc). Mogelijk dat dat nog wat zuiniger kan. Bijgeleverde adapter is een no-name model. Ik heb nog een Leicke liggen die ik waarschijnlijk uiteindelijk ga gebruiken en wellicht wat efficiënter is. Aan de voorkant zit ook nog een power LED, mogelijk dat die uit te schakelen (of los te koppelen) is om nog wat verbruik af te snoepen. Maar lijkt mij niet dat dit allemaal een grote invloed op het verbruik gaat hebben (minder dan 3W verwacht ik niet).

Krap aan en "onstabiel" toch gelukt , om onder de 3W te komen.

Ik heb de no-name Chinese SSD vervangen door een Samsung 980 1TB. Deze werkt wel/niet, of in ieder geval bij Proxmox. Initieel meteen met booten van de installer errors (iets met NVME: frozen). Oplossing is nvme_core.default_ps_max_latency_us=0 toevoegen. Vervolgens na installatie hetzelfde. En daarnaast nog wat vage PCIe errors die elke X seconden herhaald worden. Deze zijn weg met pci=nommconf. Daarnaast uit de Proxmox repository ook nog Linux 5.19 geïnstalleerd (werd door @stormfly vandaag benoemd in het zelfbouw firewall topic. Waarbij deze nieuwere kernel (5.15 is standaard) problemen oplost met de N5105 CPU). Dit maakt (helaas) geen verschil in de quirkyness, dus de kernel flags blijven nodig.

Uiteraard ook even wat onderzoek gedaan, ook omdat ik ten eerste al te maken heb gehad met een buggy Kingston A2000 die ook issues had met power management en vervolgens ineens foetsie was. Maar ook omdat ik in de grote bak, met Fujitsu/Kontron bord nu een Samsung 980 heb zitten die (wel) goed werkt. Dus issue is minimaal ook gerelateerd aan de rest van het systeem. En niet puur aan de drive of drive + Linux / Proxmox. En die nvme_core.default_ps_max_latency_us=0 heeft betrekking op APST, Autonomous Power State Transition. Dit is blijkbaar een techniek/protocol/standaard waarbij de SSD zelf de power state kan bepalen / aanpassen. Waarbij het OS wel parameters kan aanleveren wat wel en niet mag, met welke delays / latencies, etc. En mogelijk / waarschijnlijk dat daarbij de drive dus zelfstandig een power state activeert waar die niet meer uit komt of te traag uit komt, waardoor Linux denkt dat die foetsie is. Dit uitschakelen zou niet perse een effect moeten hebben op het energieverbruik, aangezien het OS ook de leiding kan nemen. Dus Linux kan de SSD nog steeds in lagere power states zetten en daarmee zuinig zijn.

Vervolgens dus verder gaan knutselen nu het systeem boot. En dan kom ik uit op een laagste verbruik van 2,3W, wederom gemeten met de Fibaro tussenstekker. Echter is dit ten eerste met de kanttekening dat die stekker waarschijnlijk niet heel lekker werkt (soms als ik via ZWave een "refresh" doe komt er een andere, "flink" afwijkende waarde uit. Dus bv continu 4W, en met een refresh ineens nog maar 2,8W). En daarnaast is het niet echt stabiel. Met vlagen flippert die alle kanten op continu tussen zeg de 2,x en 6,x Watt.

Waarbij ik nu test met:

• Kale installatie (dus geen VMs etc)
• Na uitvoeren powertop --auto-tune
• Met de CPU governor op powersave
• Met de pve-ha-lrm en pve-ha-crm services / units uitgeschakeld (deze zijn voor high availability / cluster omgevingen en ga ik toch niet opzetten)
• consoleblank=15

Dus in principe "draait er niks". Doe ik een powertop dan is het aantal wakeups per seconde ook tussen de 50 en 70 denk ik. In ieder geval niet boven de 100. Waar dat geflipper in gebruik vandaan komt is mij dan ook een raadsel. (Ligt het aan de Fibaro?; Ligt het aan OS dat toch steeds "iets doet"?; Ligt het aan de SSD (met installatie met die originele no-name M.2 SATA leek verbruik wel veel stabieler)?; Is het de CPU die toch steeds "omhoog springt" (maar alsnog 95% in C3, laagst mogelijke state die powertop laan zien / mogelijk zal zijn)?)

Edit:
Omdat een plaatje meer zegt dan 1000 woorden. Dit is hoe het verbruik er nu uit ziet:

Die 0 aan het begin en daarna die spike is dan uiteraard een "stond uit" => "boot". Maar daarna blijft die dus ook hele tijd op en neer gaan. En als die stabiel is een tijdje, wijzigt die wel weer als ik de Fibaro de waardes laat verversen.

[Voor 7% gewijzigd door RobertMe op 05-12-2022 19:22]

[peterpaulk]

MuVo schreef op zondag 4 december 2022 @ 23:19:
Een tip om deze video te kijken als je bewust bezig bent met het verlagen van het verbruik van je server: [YouTube: Building a Power Efficient Home Server!]
Weet niet of die hier al is gepost.
Ik zelf heb er tips uit gehaald. Als ik mijn server niet kan verbeteren minimale acceptabel idle verbruik, dan moet er nieuwe hardware komen. Ga dit topic maar eens door lezen, loop achter vanuit een vorige reeks.

thanks voor deze ... ik heb deze nog niet bekeken maar omdat ik ook een rackserver heb wil ik graag mijn usage delen, des te meer omdat ik voor rackmounts weinig achtergrond kon vinden. Stukje giveback zeg maar.

Noot: dit valt zeker niet in de tripe A categorie van super super zuinig maar ik wil hier even melden dat het om 10j oude server hardware gaat die ik - mag ik wel zeggen - best tot een respectabel idle / in use verbruik gekregen heb.

Hardware: Betreft een Dell Poweredge r320, single e5-xeon 2420 6core, 64gb RDIMM, dual PSU en X540T2 addon kaart. (ik draai een cluster van 2 - waarvan 1 node in standby vanwege het verbruik).

Verbruik: IDLE: 42 watt IN USE: 84 watt (gemeten via iDRAC, ESXi console, en extrapolatie van de UPS gegevens)

Workloads: Vsphere 7u3 op usb, 6 vms (firewall, domain, vCenter, stepping stone, home assistant supervised, docker host), 50-60 containers. Ik draai relatief veel permanente ML/AI (video streaming), en dat zweept het verbruik wel op, met name tijdens use van vision api/persoons herkenning zie je het verbruik wel meer worden.

Ik weet dat ik veel zuiniger kan met andere hardware, maar ik heb een redelijk demand aan cores/memory dat ik niet echt uitkom met desktop hardware (limiet van 64gb ram vaak).

Heb overigens gekeken naar nieuwe supermicro servers met bijvb een E2378g - 8 core en 128gb ram, maar volgens testen idle'd die op 30-35 watt. (zie servethehome site)....dat is de investering van paar duizend mij niet waard ... (of wel?)

Hopelijk geeft dit tweakers -hoop- dat je ook met oude hardware nog iets kan.

[Voor 14% gewijzigd door peterpaulk op 05-12-2022 23:16]

[stormfly]

RobertMe schreef op maandag 5 december 2022 @ 19:18:
[...]

Waarbij ik nu test met:

• Kale installatie (dus geen VMs etc)
• Na uitvoeren powertop --auto-tune
• Met de CPU governor op powersave
• Met de pve-ha-lrm en pve-ha-crm services / units uitgeschakeld (deze zijn voor high availability / cluster omgevingen en ga ik toch niet opzetten)
• consoleblank=15

Dus in principe "draait er niks". Doe ik een powertop dan is het aantal wakeups per seconde ook tussen de 50 en 70 denk ik. In ieder geval niet boven de 100. Waar dat geflipper in gebruik vandaan komt is mij dan ook een raadsel. (Ligt het aan de Fibaro?; Ligt het aan OS dat toch steeds "iets doet"?; Ligt het aan de SSD (met installatie met die originele no-name M.2 SATA leek verbruik wel veel stabieler)?; Is het de CPU die toch steeds "omhoog springt" (maar alsnog 95% in C3, laagst mogelijke state die powertop laan zien / mogelijk zal zijn)?)

Nice zojuist mijn tweede node, die altijd uit staat, uit het cluster verwijderd en het cluster ontmanteld. Daarna jouw tips doorgevoerd. Schijnt ook ontzettend veel data te schelen qua schrijfacties op de SSD.

code:

systemctl stop pve-daily-update 
systemctl stop pve-ha-crm 
systemctl stop pve-ha-lrm 
systemctl stop corosync 
systemctl stop spiceproxy


systemctl disable pve-daily-update 
systemctl disable pve-ha-crm 
systemctl disable pve-ha-lrm 
systemctl disable corosync 
systemctl disable spiceproxy

[TheByteBoy]

RobertMe schreef op maandag 5 december 2022 @ 19:18:
[...]
Edit:
Omdat een plaatje meer zegt dan 1000 woorden. Dit is hoe het verbruik er nu uit ziet:
[Afbeelding]
Die 0 aan het begin en daarna die spike is dan uiteraard een "stond uit" => "boot". Maar daarna blijft die dus ook hele tijd op en neer gaan. En als die stabiel is een tijdje, wijzigt die wel weer als ik de Fibaro de waardes laat verversen.

Dank voor het delen. Dit ziet er qua test en resultaat precies uit als wat ik zie bij Proxmox (met deze hardware). Ben benieuwd of er nog iets te doen valt aan die grillige grafiek...

TheByteBoy schreef op vrijdag 25 november 2022 @ 18:03:
[...]

Als ik van mijn Debian installatie metingen ook het gemiddelde neem over een uur dan komt ik op 4,2W.
Het is vooral dat Proxmox veel onrustiger is, zie hier de meting over een uur (blauwe lijn):
[Afbeelding]

[Voor 3% gewijzigd door TheByteBoy op 06-12-2022 12:30]

[RobertMe]

stormfly schreef op dinsdag 6 december 2022 @ 11:53:
[...]


Nice zojuist mijn tweede node, die altijd uit staat, uit het cluster verwijderd en het cluster ontmanteld. Daarna jouw tips doorgevoerd. Schijnt ook ontzettend veel data te schelen qua schrijfacties op de SSD.

code:

systemctl stop pve-daily-update 
systemctl stop pve-ha-crm 
systemctl stop pve-ha-lrm 
systemctl stop corosync 
systemctl stop spiceproxy


systemctl disable pve-daily-update 
systemctl disable pve-ha-crm 
systemctl disable pve-ha-lrm 
systemctl disable corosync 
systemctl disable spiceproxy

Volgens mij hoef je corosync niet altijd te stoppen. Die heeft een precondition op dat de config file moet bestaan. Standaard is dat niet het geval dus start die ook niet. En ik meen gelezen te hebben dat spiceproxy een dependency is van pve-manager (of proxmox-manager) en daardoor natuurlijk alsnog start. Oplossing is die maskeren, maar daar heb ik geen ervaring mee.

Overigens kan het ook korter en in één commando

systemctl disable --now pve-daily-update pve-ha-{crm,lrm} corosync spiceproxy

--now flag triggered dus meteen een stop. En je kunt dus meerdere services in een keer benoemen.

[RobertMe]

TheByteBoy schreef op dinsdag 6 december 2022 @ 12:29:
[...]

Dank voor het delen. Dit ziet er qua test en resultaat precies uit als wat ik zie bij Proxmox (met deze hardware). Ben benieuwd of er nog iets te doen valt aan die grillige grafiek...

[...]

Zou het hierbij nog uitmaken / zaken opvallen als je vanaf Debian begint en dan Proxmox bovenop Debian installeert? AFAIK is dat zelfs officieel ondersteund. Mogelijk dat het dan ook lukt om zaken beetje bij beetje te installeren en ook echt te zien is vanaf waar / bij welke stap dit gedrag ontstaat.

In jouw post zag ik ook dat je stat, firewall en firewall logger ook al uitschakelt. Dus daar komt het ook niet vandaan.

---

Waar, ongerelateerd, wellicht iemand info over heeft. Met powertop zie ik dat de GPU 100% in "rc6" draait. Terwijl er ogenschijnlijk ook "lagere" "rc6p" en "rc6pp" standen zijn die zuiniger zouden moeten zijn. Alleen kan ik niet vinden hoe deze te activeren. Vroeger was er blijkbaar wel een enable_rc6 flag. Maar die is al heel lang verdwenen. En de lagere standen vind ik dan helemaal niks over.

[stormfly]

RobertMe schreef op dinsdag 6 december 2022 @ 12:43:
[...]

Volgens mij hoef je corosync niet altijd te stoppen. Die heeft een precondition op dat de config file moet bestaan. Standaard is dat niet het geval dus start die ook niet. En ik meen gelezen te hebben dat spiceproxy een dependency is van pve-manager (of proxmox-manager) en daardoor natuurlijk alsnog start. Oplossing is die maskeren, maar daar heb ik geen ervaring mee.

Eens maar die file bestaat bij mij ivm cluster ontmanteling. Ik laat die file even staan tot de VMs over zijn naar het toekomstige Topton doosje. Dat lijkt mij het gemakkelijkste met een cluster live migratie.

Overigens kan het ook korter en in één commando

systemctl disable --now pve-daily-update pve-ha-{crm,lrm} corosync spiceproxy

--now flag triggered dus meteen
een stop. En je kunt dus meerdere services in een keer benoemen.

Hmm slim die ga ik opslaan.

[Mars Warrior]

RobertMe schreef op dinsdag 6 december 2022 @ 15:14:
[...]
Waar, ongerelateerd, wellicht iemand info over heeft. Met powertop zie ik dat de GPU 100% in "rc6" draait. Terwijl er ogenschijnlijk ook "lagere" "rc6p" en "rc6pp" standen zijn die zuiniger zouden moeten zijn. Alleen kan ik niet vinden hoe deze te activeren. Vroeger was er blijkbaar wel een enable_rc6 flag. Maar die is al heel lang verdwenen. En de lagere standen vind ik dan helemaal niks over.

Vanaf Haswell is enkel nog RC6 ondersteund. Zie https://lists.freedesktop...gfx/2012-June/018383.html

[TheByteBoy]

RobertMe schreef op dinsdag 6 december 2022 @ 15:14:
[...]

Zou het hierbij nog uitmaken / zaken opvallen als je vanaf Debian begint en dan Proxmox bovenop Debian installeert? AFAIK is dat zelfs officieel ondersteund. Mogelijk dat het dan ook lukt om zaken beetje bij beetje te installeren en ook echt te zien is vanaf waar / bij welke stap dit gedrag ontstaat.

In jouw post zag ik ook dat je stat, firewall en firewall logger ook al uitschakelt. Dus daar komt het ook niet vandaan.

Helaas maakt dat niks uit, hier een plaatje ervan. Paarse lijn. Eerste is Proxmox bovenop Debian conform deze instructies (en daarna natuurlijk de gebruikelijke optimalisaties), tweede is Debian voordat Proxmox erop kwam.

Was van plan om de kernel van Proxmox bij te werken zoals je suggereerde in het andere topic, maar bij jou is de grafiek ook nog grillig, dus ik verwacht er niet veel van,

[Voor 9% gewijzigd door TheByteBoy op 06-12-2022 16:15]

[RobertMe]

Mars Warrior schreef op dinsdag 6 december 2022 @ 15:55:
[...]

Vanaf Haswell is enkel nog RC6 ondersteund. Zie https://lists.freedesktop...gfx/2012-June/018383.html

Wel apart dan dat powertop ze dan wel vermeld. Immers geeft die wel alleen C1, C2 & C3 aan voor de CPU. Terwijl andere CPUs natuurlijk veel meer ondersteunen (C6 en wellicht nog verder?)

[RobertMe]

TheByteBoy schreef op dinsdag 6 december 2022 @ 16:12:
Was van plan om de kernel van Proxmox bij te werken zoals je suggereerde in het andere topic, maar bij jou is de grafiek ook nog grillig, dus ik verwacht er niet veel van,

Ik gok ook dat het eerder zit in wakeups / achtergrond processen die periodiek iets doen / opslag "die bezig gehouden wordt" / ....

Wellicht eens een testje doen met een voor een zo veel mogelijk Proxmox services te stoppen. Dus ook "Proxmox core" zeg maar en niet alleen de "randzaken", high availability / clustering, etc.

Edit:
* RobertMe bites the bullet. Kale Debian installatie aan het doen. Ik vermoed dat het dan puur mis gaat op de pve kernel. Ik had onder Proxmox namelijk al alle proxmox en pve services gestopt maar dat leek niet te helpen. Daarna open-isci verwijderd (zoals in de Debian => Proxmox handleiding staat om expliciet te installeren), dat leek voor 10 minuten te helpen, maar toen niet meer. Vervolgens wat geklungel met verwijderen proxmox* pve* en libpve* packages maar dat maakte ook geen verschil. En Debian kernel installeren was ook weinig succesvol / moeilijk met achtergebleven proxmox bestanden, uiteindelijk wel geïnstalleerd, maar gaf quirkyness met systemd-boot vs Grub waardoor ik die toch weer niet kon booten. Dus dan maar eens vanaf Debian beginnen.

Edit2:
Debian met standaard 5.10 kernel: super hoog verbruik, 6.xW. Vervolgens experimental repo aan geslingerd en daaruit de kernel geinstalleerd, zijnde 6.1, en * plop *, 2,2W. Nu eens even een uurtje of zo laten draaien om te kijken of die stabiel blijft. If so, daarna de kernel uit Proxmox repo installeren.

[Voor 44% gewijzigd door RobertMe op 06-12-2022 19:20]

[RezzZ]

iemand een advies voor zuinig mobo met wat meer sata aansluitingen voor nas hdds en ssd cache? Ik mis die nog een beetje in het starttopic. Of heb je die met de aanbevolen moederbordjes zo uitgebreid met een sata pci kaartje? Ik lig alweer een tijdje uit de hardwarewereld dus al het advies/commentaar is welkom

[Mars Warrior]

RezzZ schreef op dinsdag 6 december 2022 @ 20:35:
iemand een advies voor zuinig mobo met wat meer sata aansluitingen voor nas hdds en ssd cache? Ik mis die nog een beetje in het starttopic. Of heb je die met de aanbevolen moederbordjes zo uitgebreid met een sata pci kaartje? Ik lig alweer een tijdje uit de hardwarewereld dus al het advies/commentaar is welkom

De meeste zuinige bordjes zijn tegenwoordig maar 4x SATA. maar er zijn van die kaartjes die je in een M2 slot duwt in ruil voor 2-6x SATA. Dus dat is eenvoudig op te lossen.

Neem je een mobo met 2xM2 sloten, dan kun je naast je OS schijf dus nog 10 SATA aansluiten zonder dat je een PCIE insteekkaart nodig hebt. Lekker compact dus.

[RobertMe]

RobertMe schreef op dinsdag 6 december 2022 @ 16:34:
Edit2:
Debian met standaard 5.10 kernel: super hoog verbruik, 6.xW. Vervolgens experimental repo aan geslingerd en daaruit de kernel geinstalleerd, zijnde 6.1, en * plop *, 2,2W. Nu eens even een uurtje of zo laten draaien om te kijken of die stabiel blijft. If so, daarna de kernel uit Proxmox repo installeren.

@stormfly & @TheByteBoy wanna play a game?


Wanneer draaide Proxmox, Debian Bullseye met 6.1 kernel, en Debian Bullseye met Proxmox 5.19 kernel?

For reference: 6.1 kernel van Debian experimental is dus vrijwel continu 2,4W (ethernet, monitor maar uit / consoleblank, geen toetsenbord en muis want die heb ik alleen in draadloze variant en slurpt (~0,4W)). Alleen die laatste spike zeg maar, rond, 7:45 kan ik niet verklaren. Dat hele kleine dipje rond 8:45 en de permanente "verlaging" rond 9:15 was na een handmatige refresh van de plug.

Edit:
Niet vergeten. De power LED heb ik uit getrokken. Ik gok dat dat 0,3W scheelt

[Voor 3% gewijzigd door RobertMe op 06-12-2022 22:13]

[stormfly]

RobertMe schreef op dinsdag 6 december 2022 @ 22:12:
[...]

@stormfly & @TheByteBoy wanna play a game?

[Afbeelding]
Wanneer draaide Proxmox, Debian Bullseye met 6.1 kernel, en Debian Bullseye met Proxmox 5.19 kernel?

For reference: 6.1 kernel van Debian experimental is dus vrijwel continu 2,4W (ethernet, monitor maar uit / consoleblank, geen toetsenbord en muis want die heb ik alleen in draadloze variant en slurpt (~0,4W)). Alleen die laatste spike zeg maar, rond, 7:45 kan ik niet verklaren. Dat hele kleine dipje rond 8:45 en de permanente "verlaging" rond 9:15 was na een handmatige refresh van de plug.

Edit:
Niet vergeten. De power LED heb ik uit getrokken. Ik gok dat dat 0,3W scheelt

Wow dit is wel een enorm verschil zeg, heb je nu 3 testen gedaan? Als ik de komma in je zin meetel kom ik to:
-Proxmox
-Debian Bullseye met 6.1 kernel (deze is 2.4 watt super low)
-Debian Bullseye met Proxmox 5.19 kernel

Waarbij Proxmox dan de PVE iso installatie is? Mag toch hopen dat dit niet het gebied van 6:30 is met die hoge pieken. Dan heb ik ook nog wat te doen

[TheByteBoy]

RobertMe schreef op dinsdag 6 december 2022 @ 22:12:
[...]
Wanneer draaide Proxmox, Debian Bullseye met 6.1 kernel, en Debian Bullseye met Proxmox 5.19 kernel?

Eens met @stormfly
Proxmox tot ongeveer 18:00
Daarna installatie Debian tot 18:30
Daarna hoge verbruik van Debian tot ongeveer 19:15
Daarna 6.1 Debian kernel tot 21:30
En tenslotte Debian met Proxmox 5.19 kernel, met de grillige grafiek

[RobertMe]

stormfly schreef op dinsdag 6 december 2022 @ 22:19:
[...]


Wow dit is wel een enorm verschil zeg, heb je nu 3 testen gedaan? Als ik de komma in je zin meetel kom ik to:
-Proxmox
-Debian Bullseye met 6.1 kernel (deze is 2.4 watt super low)
-Debian Bullseye met Proxmox 5.19 kernel

Waarbij Proxmox dan de PVE iso installatie is? Mag toch hopen dat dit niet het gebied van 6:30 is met die hoge pieken. Dan heb ik ook nog wat te doen

Proxmox, gewoon vanaf de ISO installer inderdaad, heeft de hele dag gedraaid. Zal ergens na 6:30 zijn geweest dat ik ben gaan herinstalleren en zo. Rond 7:30 dan draaiende met Bullseye met 6.1 kernel. Daarvoor heeft die dan even Bullseye met de standaard 5.10 gedraaid.

Oh, en die 6W onderbreking, dat was uhm, de Samsung 980 Debian installer boote goed en kon zo installeren. Daarna wel issues met booten vanaf de NVME drive, wat wel goed ging met pci=nommconf. Vervolgens even gedraaid (stabiele ~2,5W lijn dus). Toen zag ik dat die een tijdje op ~6W draaide, en bij "scherm aan" spuugde die nogal wat errors m.b.t. ext4. Een simpele ls leverde een command not found op. Oftewel: drive dood / vermist? Hard reset gedaan, geboot met nvme_core.default_ps_max_latency_us=0 erbij, en vervolgens heeft die van ~7:40 tot ~9:15 gewoon netjes gedraaid. Toen de PVE kernel geinstalleerd en geboot en dus weer meteen het onregelmatige verbruik.

[stormfly]

RobertMe schreef op dinsdag 6 december 2022 @ 22:25:
[...]

Proxmox, gewoon vanaf de ISO installer inderdaad, heeft de hele dag gedraaid. Zal ergens na 6:30 zijn geweest dat ik ben gaan herinstalleren en zo. Rond 7:30 dan draaiende met Bullseye met 6.1 kernel. Daarvoor heeft die dan even Bullseye met de standaard 5.10 gedraaid.

Aha van matig naar goed:

Bullseye 5.10 hele hoge pieken
Proxmox vooral grillige blokken van verbruik
Bullseye 6.1 zoals een idle machine idle hoort te zijn

Wel heel tof, dat je dit even test dat biedt hoop voor kleine machientjes naar de toekomst toe. Je samsung 980 info heb ik ook tot mij genomen. Heb dezelfde besteld met balckfriday hopelijk gaat het in een topton unit goed (andere bios).

[RobertMe]

stormfly schreef op dinsdag 6 december 2022 @ 22:31:
[...]


Aha van matig naar goed:

Bullseye 5.10 hele hoge pieken
Proxmox vooral grillige blokken van verbruik
Bullseye 6.1 zoals een idle machine idle hoort te zijn

Bullseye 5.10 moet je gewoon negeren Die heb ik niet echt gebruikt "da's hoog", hop, gekeken om nieuwere kernel er op te zetten en verder. Maar zowel "Proxmox Proxmox" als "Proxmox kernel op standaard Debian" is grillig. Volgende leuke test zou zijn kijken wat Ubuntu (22.10?) doet. Daar op is de Proxmox 5.19 gebaseerd. En jup, forgot to mention: 5.19 Proxmox kernel dus, de "opt-in" kernel. Maar 5.15 heeft dus hetzelfde gedrag, en is "onbruikbaar" met Proxmox + VMs door die onstabiliteit / crashende VMs.

Wel heel tof, dat je dit even test dat biedt hoop voor kleine machientjes naar de toekomst toe. Je samsung 980 info heb ik ook tot mij genomen. Heb dezelfde besteld met balckfriday hopelijk gaat het in een topton unit goed (andere bios).

Ik gok dat dat wel goed komt, al dan niet met APST uitschakelen.

I.t.t. mijn Kingston A2000 die ik toentertijd IIRC ook met dezelfde flag heb geprobeerd, maar of de flag uberhaupt niet werkte of het in ieder geval "niet werkte" en systeem nog steeds de SSD verloor: Proxmox lockups door NVME drive?

[D-Three]

Sinds gisterenavond draait Home Assistant via KVM in een VM. De VM staat op de SSD maar ik merkte vandaag op dat de HDD blijft draaien. Ik zie dat libvirt+ inderdaad regelmatig toegang zoekt tot de schijf en dus waarschijnlijk voorkomt dat de schijf in spindown gaat. Ik begrijp echter niet waarom of wat ik er aan kan doen. Iemand die mij een tip kan geven?

[HotSpot79]

Mars Warrior schreef op dinsdag 6 december 2022 @ 20:59:
[...]

De meeste zuinige bordjes zijn tegenwoordig maar 4x SATA. maar er zijn van die kaartjes die je in een M2 slot duwt in ruil voor 2-6x SATA. Dus dat is eenvoudig op te lossen.

Neem je een mobo met 2xM2 sloten, dan kun je naast je OS schijf dus nog 10 SATA aansluiten zonder dat je een PCIE insteekkaart nodig hebt. Lekker compact dus.

Iemand hier ervaring mee? De meeste van die nvme2sata zijn gebaseerd op een ASM1166 chipset of een JMB585.

Throughput? Kan ik booten van een sata disk die via een dergelijk adapter aangesloten zit?

[Remc0_]

HotSpot79 schreef op woensdag 7 december 2022 @ 14:39:
[...]


Iemand hier ervaring mee? De meeste van die nvme2sata zijn gebaseerd op een ASM1166 chipset of een JMB585.

Throughput? Kan ik booten van een sata disk die via een dergelijk adapter aangesloten zit?

De ASM1166 zijn wat ik mij herinner het zuinigste en werken ook het beste, let wel op dat deze controller maximaal 6 sata poorten heeft. Dus als je er een met meerdere tegenkomt zitten er of verschillende contollers op of splitten ze de sata poorten en dat wil je niet hebben.

[Mars Warrior]

HotSpot79 schreef op woensdag 7 december 2022 @ 14:39:
[...]
Iemand hier ervaring mee? De meeste van die nvme2sata zijn gebaseerd op een ASM1166 chipset of een JMB585.

Throughput? Kan ik booten van een sata disk die via een dergelijk adapter aangesloten zit?

Of je er vanaf kunt booten weet ik niet. Nooit gebruikt.

• Een enkele SSD trekt gewoon > 500MB/sec, ofwel maxed out op SATA 6G
• Met 3 SSD's trek je de PCIE Gen3x2 verbinding dicht die die controllers vaak gebruiken, dus rond de 1.500 MB/sec.
• Met gewone, mechanische 2.5" schijven nog nooit enige probleem gehad qua dichttrekken van de verbinding

Verder kunnen de chipjes nogal warm worden. Dus een heatsink kan geen kwaad

[citruspers]

HotSpot79 schreef op woensdag 7 december 2022 @ 14:39:
[...]


Iemand hier ervaring mee? De meeste van die nvme2sata zijn gebaseerd op een ASM1166 chipset of een JMB585.

Throughput? Kan ik booten van een sata disk die via een dergelijk adapter aangesloten zit?

Op het Truenas forum wordt alles wat ook maar lijkt op een SATA port multiplier heel sterk afgeraden. Ik zou in ieder geval kijken wat de limiet aan "native" sata poorten op zo'n bordje is, en daar niet overheen gaan.

Nadeel is overigens wel dat een "echte" HBA zo 7-15W toevoegt aan je verbruik (en een PCIe x8 slot in gebruik neemt), dus veel alternatieven zijn er niet.

[dcm360]

citruspers schreef op woensdag 7 december 2022 @ 15:55:
[...]


Op het Truenas forum wordt alles wat ook maar lijkt op een SATA port multiplier heel sterk afgeraden. Ik zou in ieder geval kijken wat de limiet aan "native" sata poorten op zo'n bordje is, en daar niet overheen gaan.

Gelukkig zijn het geen port multipliers maar daadwerkelijke controllers (als je het maar houdt op respectievelijk maximaal 6 of 2 sata-aansluitingen).

[citruspers]

dcm360 schreef op woensdag 7 december 2022 @ 17:23:
[...]
Gelukkig zijn het geen port multipliers maar daadwerkelijke controllers (als je het maar houdt op respectievelijk maximaal 6 of 2 sata-aansluitingen).

Vandaar ook de zin "Ik zou in ieder geval kijken wat de limiet aan "native" sata poorten op zo'n bordje is, en daar niet overheen gaan." in mijn oorspronkelijke post

[ariedude]

Hoi,

Ik heb momenteel een NUC met enkele SSD draaiend op OpenmediaVault. Daarop een stuk of 12 docker containers. Daarnaast nog een oude Syno die ik vanwege de traagheid alleen nog gebruik voor simpele opslag.

Ik wil dit alles samenvoegen in 1 nieuw systeem met als basis de Asrock Deskmini X300, heeft iemand enig idee/ervaring of OMV hierop werkt? De basis daarvan is Debian 11.x dus daar zal het vanaf hangen.

Thnx

[Remc0_]

ariedude schreef op donderdag 8 december 2022 @ 12:44:
Hoi,

Ik heb momenteel een NUC met enkele SSD draaiend op OpenmediaVault. Daarop een stuk of 12 docker containers. Daarnaast nog een oude Syno die ik vanwege de traagheid alleen nog gebruik voor simpele opslag.

Ik wil dit alles samenvoegen in 1 nieuw systeem met als basis de Asrock Deskmini X300, heeft iemand enig idee/ervaring of OMV hierop werkt? De basis daarvan is Debian 11.x dus daar zal het vanaf hangen.

Thnx

Ik draai ProxMox VE 7.2-11 die draait Debain 11.3 op mijn Deskmini X300, dus OMV zal geen probleem zijn lijkt mij, ik heb sowieso nog geen setup tegengekomen waar Debian niet wilde draaien.

Maar let wel op want ik zie dat je de Syno ook wilt vervangen dat de Deskmini lijn geen dikke 2.5" drives aankan, de max is 9.5mm https://forum.asrock.com/...eries-take-a-15mm-2-5-hdd. Er is wel een beetje te sjoemelen maar ik vind persoonlijk dat het er niet uitziet maar je zou dit altijd kunnen proberen https://smallformfactor.n...10553/page-12#post-151204.

[ariedude]

Remc0_ schreef op donderdag 8 december 2022 @ 12:59:
[...]


Ik draai ProxMox VE 7.2-11 die draait Debain 11.3 op mijn Deskmini X300, dus OMV zal geen probleem zijn lijkt mij, ik heb sowieso nog geen setup tegengekomen waar Debian niet wilde draaien.

Maar let wel op want ik zie dat je de Syno ook wilt vervangen dat de Deskmini lijn geen dikke 2.5" drives aankan, de max is 9.5mm https://forum.asrock.com/...eries-take-a-15mm-2-5-hdd. Er is wel een beetje te sjoemelen maar ik vind persoonlijk dat het er niet uitziet maar je zou dit altijd kunnen proberen https://smallformfactor.n...10553/page-12#post-151204.

Dat klinkt goed! Plan is om er 2 stuks 2.5 inch SSD in te stoppen. die zijn een mm of 7 geloof ik? Ik heb de Crucial MX500 of de Samsung 870 Evo op het oog. Crucial is wel een stukje goedkoper.
Het OS komt dan op een M.2 SSD.

[jvwou123]

ariedude schreef op donderdag 8 december 2022 @ 13:23:
[...]


Dat klinkt goed! Plan is om er 2 stuks 2.5 inch SSD in te stoppen. die zijn een mm of 7 geloof ik? Ik heb de Crucial MX500 of de Samsung 870 Evo op het oog. Crucial is wel een stukje goedkoper.
Het OS komt dan op een M.2 SSD.

Ik heb een DeskMIni A300 (het broertje van, de X zonder overklok mogelijkheid, als ik met niet vergis.

Proxmox 7.3-3 draait hier prima op. Wel gister opnieuw geinstalleerd om te wisselen tussen ssd en m.2 ssd voor het OS.
Ik heb er 1 debian, 1 ubuntu en 1 windows op draaien.
Het verbruik (gemeten met een Shelly Plug S), is zonder Windows strak 11 watt. En met Windows aan schommelt het verbruik tussen de 12 en 16 watt.

Qua schijven heb ik een 80gb crucial ssd (boot) en een 500gb crucial ssd voor vm's, en een m.2 van 500 voor de grotere ssd's. Mocht je je afvragen waarom deze ssd's. Nou een gegeven paard...

[ariedude]

jvwou123 schreef op donderdag 8 december 2022 @ 14:02:
[...]


Ik heb een DeskMIni A300 (het broertje van, de X zonder overklok mogelijkheid, als ik met niet vergis.

Proxmox 7.3-3 draait hier prima op. Wel gister opnieuw geinstalleerd om te wisselen tussen ssd en m.2 ssd voor het OS.
Ik heb er 1 debian, 1 ubuntu en 1 windows op draaien.
Het verbruik (gemeten met een Shelly Plug S), is zonder Windows strak 11 watt. En met Windows aan schommelt het verbruik tussen de 12 en 16 watt.

Qua schijven heb ik een 80gb crucial ssd (boot) en een 500gb crucial ssd voor vm's, en een m.2 van 500 voor de grotere ssd's. Mocht je je afvragen waarom deze ssd's. Nou een gegeven paard...

Denk dat ik er wel uit ben, als ik het zo lees kan dit prima werken. Qua cpu denk ik aan de Ryzen 5 5600G ondanks dat dit behoorlijke overkill is denk ik. Qua prijs niet veel duurder dan de lichtere versies in die serie.

[Mars Warrior]

Aangezien ik begin volgend jaar mijn server uit 2012 wil gaan vervangen en ook de 2 andere mini-servertjes wil consolideren naar de nieuwe server, ben ik alvast aan het neuzen naar een mogelijke configuratie.

Ik mik op een socket 1700 bord met een 13400 die in 2023 uitkomt en volgens geruchten een 6P + 4E configuratie heeft.

Met een hele berg aan docker containers zal mijn server niet heel vaak volledig idle zijn, maar altijd een lichte belasting geven. Ik verwacht ergens tussen de 5 en 10%.

Dus behalve idle gedrag is efficiëntie voor mij ook belangrijk. Hoe efficiënter, des te minder kWh uiteindelijk verbruikt zijn aan het eind van het jaar.

Het volgende plaatje van TPU heb ik al eerder gepost. Dit is een 13900K die gelimiteerd wordt, en daardoor heel erg efficient blijkt te zijn. De 13400 is naar verwachting een 65W TDP exemplaar, dus zal - aanname - mogelijk rond de PL1/PL2 = 75W zitten qua efficiëntie.

Als je dat vergelijkt met oudere CPU's, dan kan dat een aardige hoeveelheid kWh's besparen. Nu staat mijn 3570K er natuurlijk niet bij (erg oud), maar zelfs een ongelimiteerde 13900K doet het beter dan een oude 9400F en stukken beter dan een 6700K.



Socket 1700 is natuurlijk wel een EOL platform, maar dat vind ik voor een server niet zo'n ramp. Die zal ik niet snel upgraden. Dat heb ik de afgelopen 10 jaar ook niet gedaan. De quadcore CPU is snel genoeg om de hele berg containers netjes af te handelen.

Mijn desktop aan de andere kant is 1 jaar ouder (2500K) en daar neig ik eerder naar een AM5 keuze. De 7700X en 13600K zitten rond dezelfde prijs en prestatie, maar met Intel heb ik over 4-5 jaar jaar weinig keus om nog een midlife CPU upgrade te doen, en met AM5 kan ik dan nog een leuke upgrade doen naar een 9000 of zelfs 10000 CPU serie die zomaar 60% sneller kan zijn dan de huidige 7000 serie. Kies ik op dat moment voor een zwaardere CPU, dan kan het performanceverschil zomaar 100% zijn. Ruim voldoende voor de volgende 5 jaar

Ik wil namelijk weer 10 jaar doen met het nieuwe spul. Zeker gezien de prijzen van mobo's. Intel gaat nog met ca €200 voor mATX en mITX, maar AM5 mITX bordjes zijn op dit ogenblijk gewoon boven de €300

32GB DDR5 is ook nog steeds fors (€180 vs €110) duurder dan DDR4, maar over een periode van 10 jaar te verwaarlozen.

De komende maanden mogen de prijzen dus nog flink dalen van mij

[dcm360]

Je bespaart alleen de kWh's volgens die test als je het begint met meten zodra je het systeem onder full load zet, en het systeem direct na de load weer uit zet. Tenzij je jouw server iedere dag een uurtje aanzet om de complete load van een dag door te rekenen en de overige 23 uur uit zet, ga je er niet in de buurt komen.

[mrmrmr]

ariedude schreef op donderdag 8 december 2022 @ 12:44:
Ik wil dit alles samenvoegen in 1 nieuw systeem met als basis de Asrock Deskmini X300, heeft iemand enig idee/ervaring of OMV hierop werkt? De basis daarvan is Debian 11.x dus daar zal het vanaf hangen.

De Intel 310 variant is in idle flink zuiniger.

[mrmrmr]

Mars Warrior schreef op donderdag 8 december 2022 @ 16:04:
32GB DDR5 is ook nog steeds fors (€180 vs €110) duurder dan DDR4, maar over een periode van 10 jaar te verwaarlozen.

Twee van deze Samsung DDR5 uitvoering: Samsung M323R2GA3BB0-CQK kosten samen € 119. Vermoedelijk ontvang je M323R2GA3BB0-CQKOL UDIMM's.

Crucial CT32G48C40U5 32GB UDIMM kost momenteel € 137,90.

[ariedude]

mrmrmr schreef op vrijdag 9 december 2022 @ 04:56:
[...]


De Intel 310 variant is in idle flink zuiniger.

Thnx, dat is ook een optie natuurlijk. Welke cpu zou je daarop kunnen aanraden?

[mrmrmr]

ariedude schreef op vrijdag 9 december 2022 @ 07:54:
Thnx, dat is ook een optie natuurlijk. Welke cpu zou je daarop kunnen aanraden?

Een i3-8100 haalt volgens c't 3,8W en een i3-8400 heeft 4,1W. Er is ondersteuning voor 9th gen. Het verschil in idle is vermoedelijk beperkt.

De Intel netwerkchip is waarschijnlijk beter dan Realtek op het gebied van low power. Daarnaast heeft de 310 een 19V voedingingang. Dat is beter dan een ATX voeding bij laag verbruik.

[Mars Warrior]

mrmrmr schreef op vrijdag 9 december 2022 @ 05:08:
[...]


Twee van deze Samsung DDR5 uitvoering: Samsung M323R2GA3BB0-CQK kosten samen € 119. Vermoedelijk ontvang je M323R2GA3BB0-CQKOL UDIMM's.

Crucial CT32G48C40U5 32GB UDIMM kost momenteel € 137,90.

Ah. Ik heb enkel naar DDR5 5600 gekeken omdat dat native is met Raptor Lake en AM5 dat ook zonder problemen kan aansturen (native 5200, dus lichte overklok).

DDR5 4800 zal voor een server niet heel veel uitmaken, maar op de desktop met video en Affinity moet ik dat nog nakijken.

[ariedude]

mrmrmr schreef op vrijdag 9 december 2022 @ 09:04:
[...]


Een i3-8100 haalt volgens c't 3,8W en een i3-8400 heeft 4,1W. Er is ondersteuning voor 9th gen. Het verschil in idle is vermoedelijk beperkt.

De Intel netwerkchip is waarschijnlijk beter dan Realtek op het gebied van low power. Daarnaast heeft de 310 een 19V voedingingang. Dat is beter dan een ATX voeding bij laag verbruik.

Die is wellicht wat lastig te krijgen, anders zit je snel op een i5. Of via MP wellicht.

[mrmrmr]

ariedude schreef op vrijdag 9 december 2022 @ 20:57:
Die is wellicht wat lastig te krijgen, anders zit je snel op een i5. Of via MP wellicht.

uitvoering: Intel Core i3-9100 Tray
Je hebt dan wel nog een passende ventilator nodig.

Er is een tweedehands i3-9400 te koop op marktplaats.

[ariedude]

mrmrmr schreef op vrijdag 9 december 2022 @ 21:14:
[...]


uitvoering: Intel Core i3-9100 Tray
Je hebt dan wel nog een passende ventilator nodig.

Er is een tweedehands i3-9400 te koop op marktplaats.

Had ik gezien! Had me nog niet echt gericht op een Intel systeem met cooler dus mocht je een aanradertje weten ;-)

[Jormungandr]

Zijn er hier ervaringen met goede sfx voedingen met laag idle verbruik? Ik heb het hart (nog) niet om mijn supermicro 846 te “gutten” maar mijn oude 2U 8bay norco rackmount daarentegen … . Dat is wel een 2userver dus de rm550x past daar niet in. Ofwel ga ik de gemakkelijke route en neem ik een picopsu ofwel zoek ik een passende 2u voeding. Er zit nu een seasonic 460 h2u in die het huis bijeen gilt dus die moet er zeker uit.

[Houbie]

Ik gebruik zelf een SF450 van corsair, de 2018 uitvoering is 80 Plus Platinum. Heel erg tevreden van!

[Skynett]

Houbie schreef op vrijdag 9 december 2022 @ 22:53:
Ik gebruik zelf een SF450 van corsair, de 2018 uitvoering is 80 Plus Platinum. Heel erg tevreden van!

Hier ook.

[mrmrmr]

@Jormungandr

Welke voeding geschikt is hangt hoofdzakelijk af van het idle en maximum verbruik. Hoe hoog of laag is dat?

[Voor 4% gewijzigd door mrmrmr op 09-12-2022 23:02]

[Jormungandr]

@mrmrmr ik behoud mijn i3-9100+kontron combo. Er komt 1 (misschien 2) 18TB schijf bij. Verder hergebruik ik mijn wd blue ssd. En plus kan er altijd nog een nvme drive op het bord. Ik ga er vanuit dat een picopsu voldoet maar als er een goed alternatief is waar ik niet met een adapter moet kloten dan ben ik fan .

On another note, voor zij die daar ‘s nachts wakker van liggen: maandag de supermicro en server componenten eens gemeten aangezien die case nu niet in gebruik is. Alles gemeten met een i3 9100, kontron 3643, 1tb WD blue en 64gb ddr4.

Supermicro PWS-920P-SQ platinum voeding, idle in debian na powertop autotune: 26W
Sas2 backplane erbij: +19W
Lsi 2008 hba erbij: +6W (valt nog goed mee!)

Dat dikt dus alles samen lekker aan.

[mrmrmr]

@Jormungandr De wat oudere SFX efficiencytests met 50W verbruik kun je nog vinden bij hardware.info. Daaruit blijkt dat de Corsair SF450 de op een na hoogste score heeft. De Sharkoon SilentStorm SFX 500W is nog iets beter in deze test en die is wat goedkoper. De Corsair is duurder geworden de laatste tijd en er is maar 1 leverancier die hem opgeeft in Pricewatch, misschien gaat dat model eruit.

80plus zegt pas iets bij 20% van de belasting, dus bij een (SFX) voeding van maximaal 250W. Tenzij het titanium is, dan is het 10% of 500W. Maar die zijn er niet, of ze staan niet in Pricewatch.

[D-Nick]

mrmrmr schreef op vrijdag 9 december 2022 @ 21:14:
[...]


uitvoering: Intel Core i3-9100 Tray
Je hebt dan wel nog een passende ventilator nodig.

Er is een tweedehands i3-9400 te koop op marktplaats.

Een i3-8100 of 9100 zie ik tweedehands nog wel eens voorbijkomen, maar valt er te verwachten dat de kontron moederborden nog terug op voorraad zullen komen?

[andru123]

Iemand ervaring met usb netwerk adapters? Bijv. deze: uitvoering: TP-Link UE300
Is het qua zuinigheid beter dan bijv een onboard lan of een tweede netwerkkaart?
Ik overweeg mijn home server als router/firewall te gebruiken, en inplaats van een moederbord met 2 ethernet (of een extra pci netwerk kaart), wordt het niet beter met zo’n usb-to-ethernet adapter?

[mrmrmr]

D-Nick schreef op zondag 11 december 2022 @ 00:33:
Een i3-8100 of 9100 zie ik tweedehands nog wel eens voorbijkomen, maar valt er te verwachten dat de kontron moederborden nog terug op voorraad zullen komen?

Hier zegt een distributeur dat die op voorraad is: https://www.rutronik24.co...ron/k3843-b/19016303.html
De daar getoonde prijs is nogal hoog, via mouser is het 154 (minimaal 20 stuks).

Probeer eens contact op te nemen met een Nederlandse leverancier zoals Allekabels, MeGekko of Si Computers. Die kunnen vervolgens verder bij hun leveranciers navragen.

Dit semi-industriële bord zou nog worden geproduceerd tot tenminste 2024 omdat het extended lifecycle is. Een opdracht bepaald voornamelijk de productie.

[Voor 5% gewijzigd door mrmrmr op 11-12-2022 05:19]

[RobertMe]

andru123 schreef op zondag 11 december 2022 @ 01:06:
Iemand ervaring met usb netwerk adapters? Bijv. deze: uitvoering: TP-Link UE300
Is het qua zuinigheid beter dan bijv een onboard lan of een tweede netwerkkaart?
Ik overweeg mijn home server als router/firewall te gebruiken, en inplaats van een moederbord met 2 ethernet (of een extra pci netwerk kaart), wordt het niet beter met zo’n usb-to-ethernet adapter?

Die USB adapters zal waarschijnlijk dezelfde chip in zitten als dat ook op een moederbord gebruikt kan worden. Alleen heb je dan ook nog USB overhead. Dus het verbruik zal in de basis bepaald worden door de gebruikte chip/adapter, waarbij AFAIK Intel zuiniger is dan Realtek & Marvell. Alleen zal zo'n USB adapter ook een beetje overhead hebben. Maar het kan best dat een zuinige USB adapter zuiniger is dan een onzuinige onboard adapter. Puur op basis van de toegepaste chip dus @mrmrmr heeft hier in ieder geval vaker benoemd welke Intel chip de voorkeur heeft, alleen heb ik dat typenummer natuurlijk niet onthouden.

[mrmrmr]

@andru123

Ik heb een USB netwerkverbinding in gebruik, maar ik kan het niet aanraden, dat was een noodoplossing omdat er geen slot aanwezig is.

De netwerkkaart die ik op mijn gateway heb heeft een Intel I211-AT chip. Die chip heeft een goed verbruik. De kaart is een LR Link LREC9202CT.

Hier verkrijgbaar: https://dutch.alibaba.com...er.d_title.28c72c22yl9QY7

Oude netwerkchips van Intel zijn af te raden vanwege het verbruik. Een I210 is een alternatief.

[Mich]

andru123 schreef op zondag 11 december 2022 @ 01:06:
Iemand ervaring met usb netwerk adapters? Bijv. deze: uitvoering: TP-Link UE300
Is het qua zuinigheid beter dan bijv een onboard lan of een tweede netwerkkaart?
Ik overweeg mijn home server als router/firewall te gebruiken, en inplaats van een moederbord met 2 ethernet (of een extra pci netwerk kaart), wordt het niet beter met zo’n usb-to-ethernet adapter?

https://forums.servetheho...uivalent-oem-parts.20974/

Hier staan een hoop kaarten/intel chips met verbruik genoemd.

[mrmrmr]

Mich schreef op zondag 11 december 2022 @ 12:32:
https://forums.servetheho...uivalent-oem-parts.20974/

Hier staan een hoop kaarten/intel chips met verbruik genoemd.

Tweedehands serverkaarten zijn duurkoop door het hoge verbruik. De metingen die oude serverkaarten geven het al aan. Dat zijn vooral die verouderde chips die veelvouden verbruiken van de recentere en zuinige Intel chips.

Opm.: ik heb geen idee hoe ze hebben gemeten. Wat we willen weten is wat het idle verbruik is met aangesloten netwerkkabel, zoals het in werkelijk gebruikt gaat worden.

De nieuwere generaties (inmiddels ook al 10 jaar oud!) zijn veel beter met low power modes. Die verbruiken minder dan een halve Watt, zoals de I211 of I210 tot 50mW (chip) met EEE. Het is doorgaans beter meerdere enkelvoudige kaarten te kiezen dan een kaart met dual of quad port chip. De I219-LM is ook goed, maar ik heb nog geen kaarten gezien.