Het grote zuinige server topic - deel 3

[Haije]

cyborgium schreef op vrijdag 4 maart 2022 @ 19:14:
[...]


Ik moet hierbij wel vermelden dat dat echt niet standaard is. Met alleen k3s (en alles wat daarbij nodig is, metallb, traefik, etc.), is de idle load eigenlijk meer ~3% op mijn VM nodes, en ~5% op mijn 3 RPI 4B nodes. De 10% komt door Prometheus.


[...]


Ook dit kan ik confirmen. Het scheeld op mijn xeon e5 2680 v3, rustig ~50-70 watt om de 2 VMs draaiende te houden.

Thanks! Ik wist niet dat k3s blijkbaar nog zoveel resources in beslag neemt. Maar het is natuurlijk wel constant bezig en dat zorgt weer voor veel I/O natuurlijk. Wellicht dat ik k3s dan maar laat en dat besteed aan 3 RPI's voor af en toe wat hobby. Na wat inventarisatie op mijn server draai ik praktisch alle diensten al in Docker containers in een aparte VM. Die scheiding is in een thuis situatie natuurlijk helemaal niet nodig. Naar aanleiding van vele berichten in dit forum over de zuinigheid van VM's tov Docker containers is mijn plan is nu om een ubuntu installatie op de server te zetten en alle diensten in losse Docker containers te draaien. Wel wil ik nog gewoon de mogelijkheid houden om af en toe wat te kunnen virtualiseren. Volgens mij moet ik in zo'n situatie prima rond de 30W idle kunnen komen.

Dit neemt natuurlijk niet weg dat mijn server bij geen VM's alsnog 75W opslurpt, dus dat dat veel zuiniger moeten kunnen met nieuwe "consumer" hardware. Ik betwijfel alleen of de 12th gen (i5-12400) opzet het waard is ten opzichte van een 10th gen(i5-10400) of eventueel zelfs een 9th gen (core i5 9400). Ik worstel ontzettend om hierin de juiste keuze te maken.

[Mezkeijou]

Haije schreef op vrijdag 4 maart 2022 @ 21:18:
[...]


Thanks! Ik wist niet dat k3s blijkbaar nog zoveel resources in beslag neemt. Maar het is natuurlijk wel constant bezig en dat zorgt weer voor veel I/O natuurlijk. Wellicht dat ik k3s dan maar laat en dat besteed aan 3 RPI's voor af en toe wat hobby. Na wat inventarisatie op mijn server draai ik praktisch alle diensten al in Docker containers in een aparte VM. Die scheiding is in een thuis situatie natuurlijk helemaal niet nodig. Naar aanleiding van vele berichten in dit forum over de zuinigheid van VM's tov Docker containers is mijn plan is nu om een ubuntu installatie op de server te zetten en alle diensten in losse Docker containers te draaien. Wel wil ik nog gewoon de mogelijkheid houden om af en toe wat te kunnen virtualiseren. Volgens mij moet ik in zo'n situatie prima rond de 30W idle kunnen komen.

Dit neemt natuurlijk niet weg dat mijn server bij geen VM's alsnog 75W opslurpt, dus dat dat veel zuiniger moeten kunnen met nieuwe "consumer" hardware. Ik betwijfel alleen of de 12th gen (i5-12400) opzet het waard is ten opzichte van een 10th gen(i5-10400) of eventueel zelfs een 9th gen (core i5 9400). Ik worstel ontzettend om hierin de juiste keuze te maken.

Top ik ben benieuwd naar je ervaringen. Hoop dat je ze hier kan delen. Ik ben ook aan het loeren voor een alder lake zuinige systeem. Eigenlijk wacht ik op wat Kontro gaat doen.

[Mars Warrior]

Voor de mensen die toch iets met k8s/k3s/k0s willen proberen op hun zuinige server kun je hier ff wat lezen.

Met kind en k3d - je draait kubernetes in docker containers - kun je namelijk ook eenvoudig een clustertje maken om mee te experimenteren…



Geen gemekker met installeren, maar simpel wat containers aftrappen en hoppa, daar gaat je cpu load

[pablo_p]

Haije schreef op vrijdag 4 maart 2022 @ 14:07:
Hoi allemaal,

<snip>
Ik werk zelf als SRE engineer en gebruik mijn homelab dus ook veelal voor het testen van verschillende soorten dingen. Onder andere heb ik de eis om een kubernetes omgeving te kunnen draaien. Hierdoor heb ik al snel 128GB werkgeheugen nodig. Daarnaast vind ik het ook gewoon ontzettend leuk om er mee bezig te zijn in mijn vrije tijd. Met dit in het achterhoofd heb ik vrij goedkoop het onderstaande systeem in 2018 gebouwd:
<snip>

Ik heb vergelijkbare wensen. De Fujitsu valt af vanwege het beperkte geheugen van 64 GB. Als ik grotere testomgevingen opspin ga ik daar ruim overheen. Ik heb nu de volgende set:

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Core i7-10700 Boxed	€ 295,97	€ 295,97
1	Moederborden	Gigabyte B560M DS3H	€ 99,95	€ 99,95
1	Netwerkadapters	Intel Gigabit CT Desktop Adapter	€ 33,95	€ 33,95
1	Geheugen intern	G.Skill Ripjaws V F4-3600C18Q-128GVK	€ 654,01	€ 654,01
1	Voedingen	be quiet! Straight Power 11 450W	€ 91,53	€ 91,53
Bekijk collectie Importeer producten			Totaal	€ 1.175,41

Ik heb er nog 3 SSD's en 1 NVMe in zitten. Een 2e NVMe slot dat ik kan gebruiken was wel fijn geweest.

Geheugen niet handig. Geheugen gekozen omdat het stabiel getest was op een ander moederbord, maar daar bleek het niet stabiel op te zijn . Op dit Gigabyte MoBo is het geheugen wel stabiel. Ik heb 2x Gigabyte 24/7/3j (i5-3550 en i5-6600) gedraaid en nooit issues gehad, dus prettig merk.

Verbruik ESXi kaal is 25 Watt, met meer load (vCenter, paar Windows servers, wat Linux spul) kom ik op 35-45 Watt uit. Mijn rustgebruik is ~ 1-2 GHz volgens vCenter, dus niet idle.

Ik zou wel zuiniger willen, maar ik geniet ook wel enorm van de performance van dit beest. Ik heb wat moeite om terug te schakelen naar trager. Maar als zo onze stroomkosten van 0.20€/kWh naar 0.70 €/kWh ga, kijk ik er toch nog wel.

[raymondw]

pablo_p schreef op zaterdag 5 maart 2022 @ 10:59:

Ik heb er nog 3 SSD's en 1 NVMe in zitten. Een 2e NVMe slot dat ik kan gebruiken was wel fijn geweest.

NVME is PCIe, als je nu 1 netwerkkaart hebt, heb je nog een een NVME(==PCIE) slot vrij
Kwestie van de juiste formfactor NVME opslag kiezen
Linkje naar formfactors

[Mars Warrior]

@pablo_p. Hoe staat esxi ingesteld vwb power savings? En heb je hardware uitgeschakeld die je niet gebruikt, zoals audio? En gaat de monitor, en dus video uit?

Allemaal dingen die van invloed kunnen zijn oo die 25W, oftewel, wat zijn je testcondities ?

[mrmrmr]

@pablo_p

Hoewel dit een 8 core processor is, is het idle verbruik daarvan niet zo hoog dat het verklaart dat je uitkomt op 25W. Je zou rond 10-15W moeten kunnen halen. Als je geen hard disks hebt vermoed ik dat het hogere verbruik grotendeels voortkomt uit de softwarebelasting.

Gigabyte als merk kan zuinig zijn. Dit bord heeft "maar" 6+2 fasen, dat lijkt niet op een performance bord, dus de kans is aanwezig dat het bord op zich zuinig zou kunnen zijn. Het heeft wel PCIe 4 en ondersteuning voor overgeklokt geheugen. Het geheugen dat je hebt draait niet op de normale snelheid en spanning. Het zal meer verbruiken dan soortgelijk geheugen op normale JEDEC snelheid en spanning. Hoeveel precies kun je testen als je stabiel kan meten door het geheugen op 2133 MHz JEDEC/SPD te draaien.

ESXi ondersteunt low power modes niet zoals Windows of Linux dat doet, het kan wel de processorfrequentie aanpassen en soms kan een onderdeel exclusief wordt doorgegeven aan een VM die daar wel power management op kan toepassen. ESXi scheelt 4W of meer in mijn tests met een zuinig bord. Recentere Intel netwerkchips zijn typisch zuiniger. Bijvoorbeeld een kaart met Intel I210 of I211 chip is tamelijk zuinig. De on board Realtek LAN chip kan wat minder zuinig zijn.

Veel VPS providers gebruiken Linux als basis.

Er valt dus misschien nog wel wat te winnen, maar geheel vervangen is waarschijnlijk niet de beste optie wanneer een deel van het verbruik veroorzaakt wordt door "zware" software.

[cyborgium]

Iemand ervaring met zoiets als dit?
Ziet er best wel interessant uit en zal ongetwijfeld minder verbruiken dan een LSI HBA.
Hiermee worden de Fujitsu en B660 moederborden ineens een stuk interessanter voor mensen die meer sata poorten nodig hebben.

[Mars Warrior]

cyborgium schreef op zaterdag 5 maart 2022 @ 19:05:
Iemand ervaring met zoiets als dit?
Ziet er best wel interessant uit en zal ongetwijfeld minder verbruiken dan een LSI HBA.
Hiermee worden de Fujitsu en B660 moederborden ineens een stuk interessanter voor mensen die meer sata poorten nodig hebben.

Die JMB585 doet volgens metingen 2W met alle 5 de poorten actief.

Kaartje is ook te koop op Ali voor rond de €60-€70 zag ik.

Ben eerder soortgelijke kaartjes tegengekomen voor 2 en 4 aansluitingen. Dus er is aardig wat keuze om een zuinig mobo uit te breiden.

[cyborgium]

@Mars Warrior Ah bedankt voor die bron!

[GioStyle]

-

[ Voor 147% gewijzigd door GioStyle op 29-10-2022 23:49 ]

[cyborgium]

GioStyle schreef op zaterdag 5 maart 2022 @ 20:14:
Kan uiteraard handig zijn in specifieke situaties, maar als je iets met ZFS wil doen zou ik er met een boog om omheen lopen...

Hoezo zou je het niet gebruiken met ZFS?

[RobertMe]

cyborgium schreef op zaterdag 5 maart 2022 @ 22:48:
[...]


Hoezo zou je het niet gebruiken met ZFS?

Mijn vermoeden "something something ZFS wil / moet rechtstreeks toegang tot de schijven hebben". Maar als ik het goed zie is dat M.2 kaartje voor het systeem gewoon een PCIe insteekkaart met een PCIe SATA controller. Dus tenzij iets geks met die controller zou zijn (wat ik nu zo laat op de avond niet zie) zou het naar mijn idee dus geen probleem zijn om dit te gebruiken met ZFS. De werking is dan gewoon identiek aan een normale PCIe kaart met een X aantal SATA poorten, via een controller op de kaart (of een extra SATA controller direct op het moederbord gesoldeerd die normaliter ook op de PCIe poort van de chipset zit.

[cyborgium]

Dat is precies wat ik ook dacht!
Ik las ergens dat debian de schijven oppakt met de normale AHCI driver dus dan lijkt mij dat geen probleem

[Hans1990]

ZFS moet je niet gebruiken in combinatie met RAID kaarten zonder JBOD. En zelfs dan eigenlijk liever een HBA. HBA (Host Bus Adapters), ofwel verloopjes, zijn prima.

Die M.2 insteekkaart is zo op eerste oog op een PCI-e <> SATA bridge op M.2 formaat. Je hebt ook losse HBAs voor PCI-e sloten, maar voor bijvoorbeeld Mini-ITX builds gaat dat tenkoste van het enige x16 slot. Dan lijkt mij dit een prima afweging.

---

Discussie over zwaardere CPU keuzes: ik heb vorig jaar de keuze gehad tussen 10/11th gen Intel, of AMD 5000G processors. M.i. als je een server bouwt met meer rekenkracht dan de "standaard" i3 9100+Fujitsu MB, dan zal je op gegeven moment de processor rekenkracht ook wel willen gebruiken. Voor mij schrikte de inefficientie van Intel CPUs tzt erg af, vooral omdat 11th gen ook op non-K chips flink over hun TDP gingen boosten om in benchmarks voor te blijven bij AMD. En vaak voor een proportioneel maar weinig extra CPU score overigens. Helaas zijn die generatie Intel CPUs niet zo 'magisch' zuinig in idle zoals de 9th gen.. Dat gecombineerd heeft mij toen besloten voor AMD te gaan.

Ik heb vorig jaar enkele tests gedraaid met Ryzen Cezanne CPUs (5600G). Interessant is dat je de chip dus ook in een 35W TDP modus kan draaien, wat marginaal (5.5%) lagere CPU scores gaf t.o.v. 18% minder verbruik.

En hoewel een Intel systeem nog steeds een paar Watt zuiniger zal/kan zijn in idle (daarin viel AMD wat tegen op basis van de tzt circulerende benchmarks), denk ik dat een duty cycle daar aan koppelen net zo belangrijk is. Wat mij betreft gaat het uiteindelijk om E = P * t, waarbij zelfs met vrij lage duty cycles een modern Intel systeem al minder zuinig kan zijn.. onder voorwaarde dat je de CPU horsepower ook daadwerkelijk moet inzetten.

Afgaande op load verbruikcijfers van de i5 11400 en de 5600G (met eigen tests die 70W uit stopcontact meten bij vergelijkbare CB20 scores t.o.v. 11400 @ full TDP), dan is zelfs een actieve belasting van ~6.5% al genoeg in voordeel van AMD. Zelfs met een 4W idle verschil. Echter, ik geloof dat je de "full TDP" bij Intel ook kan uitzetten. Dat zal de CPU weer iets efficienter maken, maar op enige afstand. Ik weet ook niet of die optie op elk Intel moederbord zit.

Het is denk ik dan voor iedereens specifieke toepassing kijken wat het beste uitkomt. Persoonlijk gebruik ik mijn systeem voor CI server doeleinden, waarbij ik tegen de 10min build time zit per uitgevoerde commit. Ik zou met een handjevol commits/dag al richting de paar procent duty cycle. In combinatie met andere services (2-3% idle load), is het voor mij niet bijzonder moeilijk om richting 10% duty cycle te gaan..

[pablo_p]

Mars Warrior schreef op zaterdag 5 maart 2022 @ 13:02:
@pablo_p. Hoe staat esxi ingesteld vwb power savings? En heb je hardware uitgeschakeld die je niet gebruikt, zoals audio? En gaat de monitor, en dus video uit?

Allemaal dingen die van invloed kunnen zijn oo die 25W, oftewel, wat zijn je testcondities ?

Audio zet ik standaard uit, printerpoort ook, serieel niet want die gebruik ik soms. Ik heb mijn testen even opgegraven van een jaar geleden. Met zuinigere settings kreeg ik hem wel lager. Maar het geheugen bleek ook wel een serieuze belasting te geven. Lijkt op 6-8 W per 64 GB.

De server heeft standaard natuurlijk geen monitor eraan hangen. Een Display-port kabel pakt al direct 2 Watt. Video schakel ik echter niet uit, want als ik een keer wel een issue heb, dan vind ik het wel fijn erbij te kunnen. Ik had een AMD 5600X wel zonder videokaart draaien (want geen iGPU), kaart pakte 8W en die haalde ik eruit als alles goed liep.

code:

MEM MEM speed   NIC ob  NIC PCIe    NVMe0   OS  Power (W)       
128 2666        1       2                   ESXi    25      
128 2666        0       2                   ESXi    25      
128 3600-XMPP   0       2                   ESXi    30      
128 3200        0       2                   ESXi    26      
128 3200        0       1                   ESXi    25.5        
128 3200        0       3                   ESXi    26.5        netwerkkabel Gbit = 1.5 W
128 3200        0       3           2TB     W10     28.6        
128 3200        0       3           2TB     ESXi    29.8        
64  2666        1       1           1 TB    ESXi    19.9        ESXi7.0 + EnergyStar Enabled + DP kabel + nw
64  2666        0       1           1 TB    ESXi    19.7        ESXi7.0 + EnergyStar Enabled + DP kabel + nw
64  2666        1       1           1 TB    ESXi    17.8        ESXi7.0 + EnergyStar Enabled + nw

[pablo_p]

raymondw schreef op zaterdag 5 maart 2022 @ 12:14:
[...]

NVME is PCIe, als je nu 1 netwerkkaart hebt, heb je nog een een NVME(==PCIE) slot vrij
Kwestie van de juiste formfactor NVME opslag kiezen
Linkje naar formfactors

@Raymond. Dank voor het meedenken.
Ik probeer altijd zoveel mogelijk onboard te hebben, mijn ervaring is dat dat zuiniger is. Al doen die Intel netwerkkaartjes het met 0.5 W ook heel netjes. Dit board heeft twee NVMe sloten onboard, maar met een 10-e generatie CPU, doet het tweede NVMe slot het niet. Evenals VGA. En ik heb juist een VGA rack console
Ik heb 2 x 2 TB NVMe liggen waarvan ik er nu dus maar 1 gebruik. Indien ik uit storage loop, neem ik jou optie zeker mee.

Over mijn SATA:
- Intel S4500 2TB SATA , om een opslag te hebben die minder snel kapot gaat van writes door logging.
- Oude 128GB als bootschijf, omdat ESXi 7.0 U1 USB sticks sloopte
- Oude 512GB voor torrent downloads.

[GioStyle]

-

[ Voor 99% gewijzigd door GioStyle op 29-10-2022 23:50 ]

[mrmrmr]

Storage controllers met hardware RAID zijn computers in een computer, weliswaar zonder video en dergelijke. De processor die wordt toegepast heeft energie nodig. Ze zijn typisch niet gemaakt voor zuinige toepassingen al wordt dat soms wel genoemd zonder verder aan te geven wat dan het verbruik echt is.

Goedkope storage controller kaarten delen vaak de bandbreedte over meerdere aansluitingen, waardoor het trager kan zijn. De beste keuze is (en dat blijft voorlopig wel zo denk ik) om grote disks aan te schaffen als je meer dan 20 (4x SATA) of 30 TB (6x SATA) nodig hebt. Voor minder kun je 6x 5TB 2.5" drives toepassen die per stuk draaien op 0,85W.

Nu er eindelijk 3.5" hard disks zijn met een redelijk lage idle belasting en een grote capaciteit met een goede prijs per TB, is dat de beste keuze voor systemen die meer dan 30TB nodig hebben. De Toshiba MG09 helium disk met 300 MB/s doorvoer kost momenteel minder dan 290 euro. Die verbruikt 4,16W in idle ofwel 1,16W per 5TB. Duidelijk meer dan de 2.5" 5TB disks, maar wel minder dan een systeem met meerdere 3W 4TB disks en een controller van 5W.

@pablo_p Goed dat je die metingen doet, de geheugen metingen zijn interessant.

Ik vind de meting met Windows 10 wel hoog ten opzichte van ESXi. Heb je Intel drivers gebruikt en stond Windows op de power saving stand? Zat er misschien nog iets extra's in het systeem?

[raymondw]

pablo_p schreef op zondag 6 maart 2022 @ 09:46:
[...]


@Raymond. Dank voor het meedenken.
Ik probeer altijd zoveel mogelijk onboard te hebben, mijn ervaring is dat dat zuiniger is. Al doen die Intel netwerkkaartjes het met 0.5 W ook heel netjes. Dit board heeft twee NVMe sloten onboard, maar met een 10-e generatie CPU, doet het tweede NVMe slot het niet. Evenals VGA. En ik heb juist een VGA rack console
Ik heb 2 x 2 TB NVMe liggen waarvan ik er nu dus maar 1 gebruik. Indien ik uit storage loop, neem ik jou optie zeker mee.

Over mijn SATA:
- Intel S4500 2TB SATA , om een opslag te hebben die minder snel kapot gaat van writes door logging.
- Oude 128GB als bootschijf, omdat ESXi 7.0 U1 USB sticks sloopte
- Oude 512GB voor torrent downloads.

Als je het hebt liggen zou ik een adapter kopen en je M.2 formaat omzetten naar PCIe.
Heb er verschillende liggen om data van apparaten te redden met mijn desktop.
Kost een paar euro op de bekende sites

De S4500 snap ik, heb zelf een hele set Micron Max drives

Dat VMware is gestopt met ondersteuning voor USB en SD kaartjes is de schuld van ons zelf cq onkunde van de IT'ers.
Als je namelijk een btje knap spul koopt en geen MM kwaliteit dan gaan SD kaartjes echt lang mee. (zelfde als je S4500)
Gebruik SD kaartjes in zelfgebouwde GNSS loggers, in 1 van de units zit sinds 2015 hetzelfde kaartje.
Datadoorvoer is vele malen hoger dan wat ESX doet aan logging.
VMware heeft vanwege vele issues met corrupt flash geheugen een terechte wisseling in ondersteuning gemaakt.

[pablo_p]

raymondw schreef op zondag 6 maart 2022 @ 12:10:
[...]


Als je namelijk een btje knap spul koopt en geen MM kwaliteit dan gaan SD kaartjes echt lang mee. (zelfde als je S4500)
Gebruik SD kaartjes in zelfgebouwde GNSS loggers, in 1 van de units zit sinds 2015 hetzelfde kaartje.
Datadoorvoer is vele malen hoger dan wat ESX doet aan logging.

Ik heb Sandisk High Endurance en Samsung Pro Endurance uSD kaartjes gekocht en gebruikten die gingen ook kapot, wat tot hangen van ESXi leidde. Soms al binnen 3 maanden. Ik was het daarna zat en ben overgegaan op SATA. Enige voorwaarde zijn fysieke ruimte en poorten. Kosten zijn het niet, zeker niet als ik een oude 128GB gebruik uit een PC die ik heb geupgrade. Sinds ik op SATA zit is het probleem opgeheven. Issue ligt bij ESXi, maar soms moet je een warkaround accepteren.

[GoBieN-Be]

Voor wat betreft ESXi is onderstaand artikel handig. Ik heb de low power setting gekozen.
https://blogs.vmware.com/...09/hpm-vsphere7-perf.html

[campr112]

Heb vandaag een HP EliteDesk 805 G8 mini gekocht, en meteen 64Gbyte geheugen bijbesteld (niet bij HP). 6 cores, 12 threads a 3.9ghz met 19mbyte aan cache. Processor is 35W TDP, dus ik verwacht onder lage loads bij ~10W stroomgebruik uit te komen. Wat ga ik er op draaien?
Virtualbox (Headless) met pfsense
Elasticsearch cluster in docker (3 nodes) (voor experimentatie)
InfluxDB, Grafana en node-red als docker containers (huis automatisering).
Plex, radarr, sonarr etc etc.
We gaan het meemaken. Ik laat jullie wel weten wat het verbruikt zodra het binnen is.

[ Voor 0% gewijzigd door campr112 op 08-03-2022 21:09 . Reden: typvout G8, niet G5 ]

[Mars Warrior]

campr112 schreef op maandag 7 maart 2022 @ 17:30:
Heb vandaag een HP EliteDesk 805 G5 mini gekocht, en meteen 64Gbyte geheugen bijbesteld (niet bij HP). 6 cores, 12 threads a 3.9ghz met 19mbyte aan cache. Processor is 35W TDP, dus ik verwacht onder lage loads bij ~10W stroomgebruik uit te komen. Wat ga ik er op draaien?
Virtualbox (Headless) met pfsense
Elasticsearch cluster in docker (3 nodes) (voor experimentatie)
InfluxDB, Grafana en node-red als docker containers (huis automatisering).
Plex, radarr, sonarr etc etc.
We gaan het meemaken. Ik laat jullie wel weten wat het verbruikt zodra het binnen is.

Ik zie dat de 800 serie (geen idee wat het verschil met de 805 is) zo’n 10-13W doet idle.

https://h20195.www2.hp.com/v2/getpdf.aspx/c06320288.pdf

[Clueless]

Mars Warrior schreef op maandag 7 maart 2022 @ 19:26:
[...]

Ik zie dat de 800 serie (geen idee wat het verschil met de 805 is) zo’n 10-13W doet idle.

Meestal is dat bij HP Intel (8x0-series) versus AMD (8x5-series). Vreemde is dat ik van de 805 G5 geen data kan vinden maar van de 805 G6 wel. De G6 doet bij long idle 9,2W en short idle 10W, maar dat is waarschijnlijk wel bij een “Typically Configured Desktop" en de kans is groot dat 64GB memory niet een typische standaard config is. Memory zou zo maar een grote stroom vreter kunnen zijn in dit geval.

[Mezkeijou]

GioStyle schreef op zaterdag 5 maart 2022 @ 20:14:
Kan uiteraard handig zijn in specifieke situaties, maar als je iets met ZFS wil doen zou ik er met een boog om omheen lopen...


YouTube: This blows away the competition

Die Jonsbo N1 zou ik best willen hebben. Als Kontron dan nog met een zuinige 12th gen ITX mobo met 6x sata komt dit jaar...

Lijkt me niet energiezuinig. Wil je hier 2.5 inch harddisk voor gebruiken?

[GioStyle]

-

[ Voor 119% gewijzigd door GioStyle op 29-10-2022 23:50 ]

[campr112]

Clueless schreef op dinsdag 8 maart 2022 @ 10:22:
[...]


Meestal is dat bij HP Intel (8x0-series) versus AMD (8x5-series). Vreemde is dat ik van de 805 G5 geen data kan vinden maar van de 805 G6 wel. De G6 doet bij long idle 9,2W en short idle 10W, maar dat is waarschijnlijk wel bij een “Typically Configured Desktop" en de kans is groot dat 64GB memory niet een typische standaard config is. Memory zou zo maar een grote stroom vreter kunnen zijn in dit geval.

Excuus, had een 805 G8 mini moeten zijn. We gaan het merken, ga hem zo aansluiten ;-)

[andru123]

Misschien de eerste pagina eens verversen - er zijn veel onderdelen die niet meer te koop zijn. Bijv. processor.

[Jazsie]

Gezien de steeds duurdere energieprijzen ook maar eens wat gaan aanpakken.

Huidige situatie:

2x Servers voor VM spul en 1x NAS, NAS laat ik even buiten beschouwing:

Server 1:
Mobo: Asus H270 Plus
CPU: Intel Pentium G4560
RAM: 32GB 2400mhz
Opslag: 1x m2 SSD SATA voor OS, 1x 2.5" SSD SATA voor VM.

Server 2:
Mobo: MSI met X470 chipset
CPU: AMD Ryzen 3700X
RAM: 64GB 3200Mhz
Opslag: 1x m2 SSD SATA vor OS, 3x 2,5" SSD Sata voor VM.

Server 2 is erbij gekomen (onderdelen die ik reeds al had) omdat Server 1 niet meer krachtig genoeg is.

Samen goed voor ongeveer 130 watt in idle met dus nog geen VM opgestart.

Nu heb wil ik dus deze 2 servers omzetten naar 1 zuinige maar toch krachtiger server:

Mobo: Fujitsu D3643-H
CPU: i5-9400
RAM: 64GB 3200mhz (van server 2).
Opslag: M2 voor OS, 1x SSD voor VM.

Doel is ernaast om nog een 2de server te bouwen voor backup aangezien ik veel belangrijke dingen draai en uit ervaring kan ik vertellen dat het heel erg vervelend is wanneer je VM "host" plat ligt...

Volgens mijn smartplug gebruikt deze setup in de Proxmox installatie scherm bijna 13 watt, dat beloofd wel goeds
Voeding is een standaard 1U voeding dat bij de server kast zit.

(Verder niet gekomen want blijkbaar accepteert de D3643-H geen m2 SATA SSD, iets wat ik over het hoofd gezien heb hehe).

Ben benieuwd na installatie

[mrmrmr]

@Jazsie Als de 13W gemeten is na optimalisatie (zie topic start onder tips), denk ik dat er de volgende verdachten zijn voor het hogere verbruik: de voeding, het geheugen en de groter dan gebruikelijke processor. De 1U formaat voeding zal vermoedelijk voor het grootste extra verbruik zorgen. Doorsnee ATX voedingen zijn maar rond 50% efficient bij belasting onder 10W, terwijl een zuinige voeding tussen 80 en 90% zit. Van belang is dat de voeding afgestemd wordt op de idle last. De meeste voedingen die 80plus zijn, presteren pas zo goed als ze een tamelijk hoge belasting hebben.

Het kan zo zijn dat het werkelijke verbruik 6,5W (DC, gelijkstroom) is terwijl het aan de stekker 13W (AC,. wisselstroom) is geworden door de overhead van de voeding.

Ik denk dat 4W na optimalisatie met PicoPSU mogelijk is. Een probleem is dat je een grotere processor hebt waardoor het maximum verbruik omhoog gaat. Met een i3-9100 zou een PicoPSU-90 met adapter passend zijn, zie topic start onder tips voor hoe & wat precies.

Dat gezegd hebbende, ik vermoed dat de manier van inrichten van het systeem een flinke invloed zal hebben op het verbruik omdat ik bij de hardware geen verklaring zie voor 130W verbruik.

Probeer voor een laag verbruik zoveel mogelijk te samen te voegen in het basisbesturingssyteem. Debian en Ubuntu zijn redelijk zuinig. Weinig of geen virtual machines toe te passen en geen management of zware monitoring software te gebruiken die een zware last veroorzaakt. Je kunt misschien nog bij je oude systeem testen welke processen veel processorkracht vragen.
Bij Virtual Machines stapel je de overhead van meerdere besturingssystem op elkaar, dan krijg je al snel dat elke VM net zoveel gebruikt als het onderliggende systeem.

Lichtgewicht virtualisatie zoals containers, en op laag niveau systemd, kunnen een vervanging vormen voor de zwaardere software. Software die niet direct nodig is kan worden uitgeschakeld (bv. met een suspend), alleen bij gebruik aanzetten spaart al veel.

Basissoftware zoals Apache, Exim/Postfix, Dovecot, OpenSSH (met proxy en forwarding), PHP, Owncloud/Nextcloud, DNS verbruikt nauwelijks iets als het niet in virtual machines draait.

[GoBieN-Be]

Jazsie schreef op woensdag 9 maart 2022 @ 14:12:
Gezien de steeds duurdere energieprijzen ook maar eens wat gaan aanpakken.
...
CPU: AMD Ryzen 3700X
...

Samen goed voor ongeveer 130 watt in idle met dus nog geen VM opgestart.
...
CPU: i5-9400

Je kiest dan toch bewust voor een minder performantere oplossing, de i5-9500 is minder krachtig dan de Ryzen 7 3700X.

Ik vind die 130watt idle trouwens enorm veel voor dat systeem. Volgens mij kan je dat met enkele BIOS instellingen en energiebeer instellingen ook sterk verbeteren.

[Jazsie]

GoBieN-Be schreef op donderdag 10 maart 2022 @ 00:07:
[...]


Je kiest dan toch bewust voor een minder performantere oplossing, de i5-9500 is minder krachtig dan de Ryzen 7 3700X.

Ik vind die 130watt idle trouwens enorm veel voor dat systeem. Volgens mij kan je dat met enkele BIOS instellingen en energiebeer instellingen ook sterk verbeteren.

Server 1 en 2 samen hebben een 130 watt idle verbruik, niet enkel server 2

Klopt dat ik inderdaad iets ga inleveren mbt prestaties, de G4560 is te zwak en de 3700X is eigenlijk voor wat ik ermee doe overkill, dus hoop dat ik nu wel goed zit en alles kan combineren naar 1 server zodat er plek vrij komt voor een 2de server als failover . Met hopelijk als eind resultaat een stuk minder energie vebruik...

[eijckron]

@GoBieN-Be Waarschijnlijk ook handig om te kijken of je servers bij normale load ook echt idle draaien. Als je bijvoorbeeld altijd een load van 10 of 20% hebt vanwege alle VM's kan een nieuwste generatie CPU wel eens zuiniger zijn. De door forumbezoekers veel gekozen i3-9100 heeft het beste idle verbruik maar zeker niet het beste verbruik onder load.

Voor je bestaande servers is 130 watt samen ruim meer dan verwacht. Welke voedingen gebruik je, die zijn mogelijk een bron van je hoge verbruik.

[campr112]

campr112 schreef op maandag 7 maart 2022 @ 17:30:
Heb vandaag een HP EliteDesk 805 G8 mini gekocht, en meteen 64Gbyte geheugen bijbesteld (niet bij HP). 6 cores, 12 threads a 3.9ghz met 19mbyte aan cache. Processor is 35W TDP, dus ik verwacht onder lage loads bij ~10W stroomgebruik uit te komen. Wat ga ik er op draaien?
Virtualbox (Headless) met pfsense
Elasticsearch cluster in docker (3 nodes) (voor experimentatie)
InfluxDB, Grafana en node-red als docker containers (huis automatisering).
Plex, radarr, sonarr etc etc.
We gaan het meemaken. Ik laat jullie wel weten wat het verbruikt zodra het binnen is.

Eerste reultaten met de volgende configuratie:
HP Elitedesk mini 805 G8 (Ryzen 5 Pro 5650G 6-core, 12 thread) met 64 Gbyte geheugen, 2Tbyte NVME SSD, 256Gbyte NVME SSD en 8Tbyte SATA SSD: 15W idle. Na optimalisatie met 'powetop'. Nog geen resultaten onder full-load.

#	Category	Product	Prijs	Subtotaal
1	Geheugen intern	G.Skill Ripjaws 4 F4-3200C22S-32GRS	€ 121,51	€ 121,51
1	Solid state drives	Samsung 870 QVO 8TB	€ 659,-	€ 659,-
1	Solid state drives	Samsung 970 Evo Plus 2TB	€ 201,70	€ 201,70
1	PC's	HP EliteDesk 805 G8 mini (4M3K8EA)	€ 898,-	€ 898,-
Bekijk collectie Importeer producten			Totaal	€ 1.880,21

[ Voor 3% gewijzigd door campr112 op 10-03-2022 07:55 . Reden: Zonder 5Gbit adapter ]

[Jazsie]

eijckron schreef op donderdag 10 maart 2022 @ 06:53:
@GoBieN-Be Waarschijnlijk ook handig om te kijken of je servers bij normale load ook echt idle draaien. Als je bijvoorbeeld altijd een load van 10 of 20% hebt vanwege alle VM's kan een nieuwste generatie CPU wel eens zuiniger zijn. De door forumbezoekers veel gekozen i3-9100 heeft het beste idle verbruik maar zeker niet het beste verbruik onder load.

Voor je bestaande servers is 130 watt samen ruim meer dan verwacht. Welke voedingen gebruik je, die zijn mogelijk een bron van je hoge verbruik.

Maak gebruik van SS-250SU Active PFC voeding in beiden servers:
https://docs.rs-online.com/f4c0/0900766b80ec0970.pdf

Mijn idle % op server 1 (G4560) is 10-20% en op server 2 1-2%.
Nu heb ik alles tijdelijk overgezet naar server 2 (3700X) en die blijft idle nu onder de 5%.

Hoop dat ik met de i5-9400 dus een goede keus gemaak hebt mbt prestaties en energie vebruik.

Smart meter geeft nu 15,59 watt (op een Supermicro 600W 1U voeding) idle aan op de nieuwe hardware met proxmox erop (nog geen VM draaiend).

Tot heden ben ik al heel blij met dit verschil .

[dcm360]

Jazsie schreef op donderdag 10 maart 2022 @ 00:51:
[...]


Server 1 en 2 samen hebben een 130 watt idle verbruik, niet enkel server 2

Klopt dat ik inderdaad iets ga inleveren mbt prestaties, de G4560 is te zwak en de 3700X is eigenlijk voor wat ik ermee doe overkill, dus hoop dat ik nu wel goed zit en alles kan combineren naar 1 server zodat er plek vrij komt voor een 2de server als failover . Met hopelijk als eind resultaat een stuk minder energie vebruik...

Een systeem met een 3700X zou in idle makkelijk onder de 60W moeten zitten, en minder dan 50W acht ik ook wel haalbaar (een systeem met een 1700 draait bij mij minder dan 40W in idle, maar dat systeem is wel erg kaal). 130W in idle vind ik dan ook zeer hoog voor deze combinatie.

[Jazsie]

dcm360 schreef op donderdag 10 maart 2022 @ 12:04:
[...]

Een systeem met een 3700X zou in idle makkelijk onder de 60W moeten zitten, en minder dan 50W acht ik ook wel haalbaar (een systeem met een 1700 draait bij mij minder dan 40W in idle, maar dat systeem is wel erg kaal). 130W in idle vind ik dan ook zeer hoog voor deze combinatie.

Dat zeg ik ook niet.
Server 1 en 2 gebruiken 130 watt idle. Dus niet alleen de 3700X !

[dcm360]

Jazsie schreef op donderdag 10 maart 2022 @ 13:43:
[...]


Dat zeg ik ook niet.
Server 1 en 2 gebruiken 130 watt idle. Dus niet alleen de 3700X !

Ik zei ook niet dat het alleen om de 3700X zou gaan. Maar het systeem met de 3700X zou ruim minder dan de helft moeten kunnen halen van 130W in idle, en het restant is voor het andere systeem dan best veel. Iets lijkt erg inefficiënt te gaan, of 'idle' is bij jou al een flinke load.

[Orky Rulez]

Hans1990 schreef op zondag 6 maart 2022 @ 08:45:

Discussie over zwaardere CPU keuzes: ik heb vorig jaar de keuze gehad tussen 10/11th gen Intel, of AMD 5000G processors. M.i. als je een server bouwt met meer rekenkracht dan de "standaard" i3 9100+Fujitsu MB, dan zal je op gegeven moment de processor rekenkracht ook wel willen gebruiken. Voor mij schrikte de inefficientie van Intel CPUs tzt erg af, vooral omdat 11th gen ook op non-K chips flink over hun TDP gingen boosten om in benchmarks voor te blijven bij AMD. En vaak voor een proportioneel maar weinig extra CPU score overigens. Helaas zijn die generatie Intel CPUs niet zo 'magisch' zuinig in idle zoals de 9th gen.. Dat gecombineerd heeft mij toen besloten voor AMD te gaan.

Ik heb vorig jaar enkele tests gedraaid met Ryzen Cezanne CPUs (5600G). Interessant is dat je de chip dus ook in een 35W TDP modus kan draaien, wat marginaal (5.5%) lagere CPU scores gaf t.o.v. 18% minder verbruik.

En hoewel een Intel systeem nog steeds een paar Watt zuiniger zal/kan zijn in idle (daarin viel AMD wat tegen op basis van de tzt circulerende benchmarks), denk ik dat een duty cycle daar aan koppelen net zo belangrijk is. Wat mij betreft gaat het uiteindelijk om E = P * t, waarbij zelfs met vrij lage duty cycles een modern Intel systeem al minder zuinig kan zijn.. onder voorwaarde dat je de CPU horsepower ook daadwerkelijk moet inzetten.

Afgaande op load verbruikcijfers van de i5 11400 en de 5600G (met eigen tests die 70W uit stopcontact meten bij vergelijkbare CB20 scores t.o.v. 11400 @ full TDP), dan is zelfs een actieve belasting van ~6.5% al genoeg in voordeel van AMD. Zelfs met een 4W idle verschil. Echter, ik geloof dat je de "full TDP" bij Intel ook kan uitzetten. Dat zal de CPU weer iets efficienter maken, maar op enige afstand. Ik weet ook niet of die optie op elk Intel moederbord zit.

Ik heb een AsRock H570 mobo en kan daar inderdaad de 'tau boost' uitzetten. Volgens mij kan dit bij alle fabrikanten maar je kan natuurlijk vooraf de manual checken.

Zie dit

Zoals je kan zien is het minimum 28/56 seconden. In de bios kan je dit naar smaak aanpassen maar door de band is het door je mobo-boer standaard op 'oneindig' ingesteld.

Zo lang je niet langer dan 28/56s full power moet draaien maakt die setting dus ook niets uit. Maar gedurende die tijd ga je dan sowieso wel veel Watt verstoken. 12th Gen heeft dit ook

[Jazsie]

dcm360 schreef op donderdag 10 maart 2022 @ 13:57:
[...]

Ik zei ook niet dat het alleen om de 3700X zou gaan. Maar het systeem met de 3700X zou ruim minder dan de helft moeten kunnen halen van 130W in idle, en het restant is voor het andere systeem dan best veel. Iets lijkt erg inefficiënt te gaan, of 'idle' is bij jou al een flinke load.

Ahh dacht dat je naar enkel de 3700X refereerde .

Gok dat de X470 chipset icm 8ports HBA en 10Gbe nic ook een rol spelen in het hoger vebruik.

Maar voor als nog ben ik blij met de verbetering op de 9400 icm Fujitsu D3643-H.

[cville]

dcm360 schreef op donderdag 10 maart 2022 @ 12:04:
[...]

Een systeem met een 3700X zou in idle makkelijk onder de 60W moeten zitten, en minder dan 50W acht ik ook wel haalbaar

Ik kan dat bevestigen: 3700X + 3 * 3.5" HDD + 2 * 1TB SSD + 64GB RAM: 47.8Watt; nog niet getuned.

[mrmrmr]

We zijn weer in een tijd verder dan deze post en momenteel is de beschikbaarheid beter en prijzen lager. Ik vraag me af of dit systeem een gunstig verbruik zal hebben:

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Pentium Gold G7400 Boxed	€ 88,-	€ 88,-
1	Moederborden	Gigabyte H610M H DDR4 (rev. 1.0)	€ 96,99	€ 96,99
1	Geheugen intern	Crucial CT8G4DFRA32A	€ 30,25	€ 30,25
			Totaal	€ 215,24

Dit systeem heeft Intel LAN (vermoedelijk i219-V), 4x SATA, M.2, een NCP81530 VRM controller en 6+1+1 Vishay SiRA18DP + SIRA12BDP mosfets.

Is er iemand met nog meer metingen van Alder Lake op een Gigabyte bord?

[citruspers]

Het is zo ver, mijn energiecontract loopt bijna af, dus ik wil graag jullie input voor het zuiniger maken van mijn NAS.

Huidige specs (ik heb niet van alles de exacte naam, dus een simpel bulletlijstje):

* Intel i3 4150 (TDP 54W, bouwjaar 2014)
* 16GB DDR3
* 430W corsair PSU
* Mellanox CX2 10Gbit netwerkkaart (SFP+)
* 2x WD80EZAZ (data)
* 2x WD80EMAZ (data)
* random SATA SSD (OS)

Dit geheel is "goed" voor zo'n 48W uit de muur met de HDD's idle, maar niet spun down.

Qua software is het een simpele CentOS installatie met ZFSoL en SMB, en de setup haalt zo'n 400MB/s sequentieel op een goede dag. Ik heb me er al bij neergelegd dat 10Gbit er waarschijnlijk (tijdelijk) niet in zit met de huidige energieprijzen, dus dat is geen vereiste.

Het voordeel is dat ik redelijk wat hardware rond heb slingeren:

* verscheidene kleinere DDR3 latjes
* Streacom Nano120 PicoPSU
* Intel NUC6CAYH
* Assorti SSD's
* Mini-ITX bordje met een Celeron G1610 (TDP 55W, bouwjaar 2013)
* uATX moederbord met een Pentium G3240 (TDP 53W, bouwjaar 2014)


Ik twijfel wat hier de beste richting is. Idealiter gebruik ik de NanoPSU met een 12V adapter, maar ik ben bang dat 4x HDD's net iets te spicy gaan worden voor de picoPSU, en een 4x SATA splitter lijkt me ook niet zo'n fris idee. Is dit een realistische zorg? In het BIOS gebruikt het ITX-bordje 2A, zonder disks. Eventueel zou ik de HDD's in een aparte enclosure met losse 12V voeding kunnen doen, maar ik weet niet of dat bestaat zonder USB-omzetting. Daarnaast vraag ik me af of ik dan geen problemen krijg met verschillende ground voltages en what not?

Qua OS twijfel ik om over te gaan op TrueNAS om de spindown wat makkelijker te kunnen regelen, dan moet ik wel mijn backupstrategie (Duplicacy) ietsje omgooien, maar daar moet wel een mouw aan te passen zijn.

Ik heb uiteraard ook even gekeken naar kant-en-klare NAS systemen, maar met 4 bays lijken die te beginnen bij zo'n 300 euro. Dat is wel een flinke terugverdientijd (~20 mnd tegen 0.55 euro/kwh), dus ik kijk liever eerst wat er mogelijk is met wat ik al heb, of wat (goedkoper) aan te schaffen is.

Zoals jullie merken is dit meer een brainstorm dan een compleet plan, ik hoor graag wat er mogelijk is en of ik in de juiste richting denk

[ Voor 6% gewijzigd door citruspers op 12-03-2022 18:20 ]

[mrmrmr]

@citruspers De 2x 10Gbit netwerkaansluitingen verbruiken meestal veel, al is er een brede variatie. Van de disks is geen officieel idle verbruik bekend omdat het externe disks betreft, ik schat in dat het ergens ligt tussen 3 en 6W per disk. Een 10 Gbit switch verbruikt ook veel, dus 10Gbe elimineren is een goed plan. Meten is weten (zie ook verderop).

PicoPSU is bij een verbruik (~50W) niet voordeliger dan een ATX voeding. Bij <10W is PicoPSU veel zuiniger dan ATX voedingen. De grens ligt bij 40W, maar verwacht niet een groot verschil bij 30W. De Straecom PicoPSU kloon is minder zuinig dan de originele PicoPSU.

Waar je aan zou kunnen denken is een systeem met maar 1 grote 3.5" hard disk (Toshiba MG09 18TB: 300 MB/s, 4,16W idle), 1 SSD. De bestaande disks kunnen worden benut voor backup. Skylake of later als platformtype is het voordeligst in het verbruik. Op socket volgorde (best-slechtst):

1151: 2016-2018 <- ok (Fujitsu D3643x + Coffee Lake of D3417B2 + Kaby Lake)
1700: 2022 <- ok bij geselecteerde hardware, voor zover bekend (Alder Lake)
1200: 2020 <- ok bij 11th gen processor
1150: 2015 <- slecht (Haswell)
1155: 2013 <- slechtst (Ivy Bridge)

Een goede SATA splitter (met klemmen) is geen probleem, die hebben voldoende capaciteit voor de kortdurende hoge stroom bij opstarten. Oppassen met naamloos materiaal.

€ 0,55 per kWh komt overeen met € 4,82 per Watt per jaar. 48W kost per jaar € 231. Kijk bij berekeningen naar de werkelijke gebruikstermijn. De standaard gebruikstermijn voor computers is 5 jaar, zowel economisch als fiscaal. Bij gelijkblijvende energieprijzen kost het systeem aan energie € 1156.

De NUC die je hebt is uit 2017, op zich wel goed, ondanks de beperkte Celeron J3455. Door de beperking in het aantal SATA aansluitingen, de voeding en de ruimte in de kast mogelijk niet geschikt voor 3.5" disks of een NASje groter dan 5TB (1x 2.5" 5TB Seagate, met aanpassen van de kast of externe bevestiging).

Aangezien je nu een zwaar systeem hebt, misschien kun je ons ook helpen inzicht te krijgen in het verbruik van de Mellanox CX2 10 Gbe met deze metingen?:
• geen hard disks, met 2x 10Gbit actief (actieve IP nummers op 10Gbe, full duplex)
• geen hard disks, met 1x 10Gbit actief (1 stekker eruit)
• geen hard disks, met 0x 10Gbit actief (2 stekkers eruit)
• geen hard disks, zonder 10Gbe kaart

Volgens deze specs is het 6,5W typisch en 3,5W per poort. Maar er komt nog vermoedelijk een transceiver bij en een switch.

[citruspers]

mrmrmr schreef op zaterdag 12 maart 2022 @ 20:15:
@citruspers De 2x 10Gbit netwerkaansluitingen verbruiken meestal veel, al is er een brede variatie. Van de disks is geen officieel idle verbruik bekend omdat het externe disks betreft, ik schat in dat het ergens ligt tussen 3 en 6W per disk. Een 10 Gbit switch verbruikt ook veel, dus 10Gbe elimineren is een goed plan. Meten is weten (zie ook verderop).

PicoPSU is bij een verbruik (~50W) niet voordeliger dan een ATX voeding. Bij <10W is PicoPSU veel zuiniger dan ATX voedingen. De grens ligt bij 40W, maar verwacht niet een groot verschil bij 30W. De Straecom PicoPSU kloon is minder zuinig dan de originele PicoPSU.

Waar je aan zou kunnen denken is een systeem met maar 1 grote 3.5" hard disk (Toshiba MG09 18TB: 300 MB/s, 4,16W idle), 1 SSD. De bestaande disks kunnen worden benut voor backup. Skylake of later als platformtype is het voordeligst in het verbruik. Op socket volgorde (best-slechtst):

1151: 2016-2018 <- ok (Fujitsu D3643x + Coffee Lake of D3417B2 + Kaby Lake)
1700: 2022 <- ok bij geselecteerde hardware, voor zover bekend (Alder Lake)
1200: 2020 <- ok bij 11th gen processor
1150: 2015 <- slecht (Haswell)
1155: 2013 <- slechtst (Ivy Bridge)

Een goede SATA splitter (met klemmen) is geen probleem, die hebben voldoende capaciteit voor de kortdurende hoge stroom bij opstarten. Oppassen met naamloos materiaal.

€ 0,55 per kWh komt overeen met € 4,82 per Watt per jaar. 48W kost per jaar € 231. Kijk bij berekeningen naar de werkelijke gebruikstermijn. De standaard gebruikstermijn voor computers is 5 jaar, zowel economisch als fiscaal. Bij gelijkblijvende energieprijzen kost het systeem aan energie € 1156.

De NUC die je hebt is uit 2017, op zich wel goed, ondanks de beperkte Celeron J3455. Door de beperking in het aantal SATA aansluitingen, de voeding en de ruimte in de kast mogelijk niet geschikt voor 3.5" disks of een NASje groter dan 5TB (1x 2.5" 5TB Seagate, met aanpassen van de kast of externe bevestiging).

Aangezien je nu een zwaar systeem hebt, misschien kun je ons ook helpen inzicht te krijgen in het verbruik van de Mellanox CX2 10 Gbe met deze metingen?:
• geen hard disks, met 2x 10Gbit actief (actieve IP nummers op 10Gbe, full duplex)
• geen hard disks, met 1x 10Gbit actief (1 stekker eruit)
• geen hard disks, met 0x 10Gbit actief (2 stekkers eruit)
• geen hard disks, zonder 10Gbe kaart

Volgens deze specs is het 6,5W typisch en 3,5W per poort. Maar er komt nog vermoedelijk een transceiver bij en een switch.

Dankjewel voor de uitgebreide informatie, vooral dat de picoPSU vanaf zo'n 40W niet meer rendabel begint te worden is op zich wel een eye-opener!

Wat betreft de 10G kaart, deze heb ik al bewust uitgezocht op zijn stroomverbruik. 1 enkele SFP+ poort met een glas transceiver er in (geen 10G koper), en een heatsink die nauwelijks warm wordt (dus relatief laag verbruik).

Ik heb eenzelfde model in mijn server zitten, daar wilde ik inderdaad eens wat tests gaan doen wat nou het verbruik is van die kaart (en idem voor de hardware RAID controller die daar in zit).

Over die server gesproken, ik twijfel of ik de server (vmhost) en de NAS niet beter kan combineren, door simpelweg de 4 disks daar aan toe te voegen. De vraag is dan of ik via RDM alsnog spindown kan activeren (ik verwacht van wel), en of ik het (hogere) verbruik van die server acceptabel vind.

Ik zal morgen eens een paar testjes doen van de kaarten en transceiver, ik heb inderdaad meer informatie nodig.

Idealiter zou ik alles in 1 keer doen en gelijktijdig mijn vmhost vervangen door een zuinig (intel) systeem, maar een uitgave van ~1100 euro is lastig te verantwoorden (al helpen de hoge energieprijzen daar op zich wel in mee door de lage terugverdientijd).

Overigens is ruimte in een chassis niet zo'n probleem, ik heb een 3D printer en kan in principe een custom enclosure maken waar 4 HDD's in passen, in combinatie met bijvoorbeeld een M.2 naar 4x SATA adaptertje. Maar dan komt het probleem van de voeding wel weer om de hoek kijken.

Het verbruik van de switch is trouwens al bekend:

Mikrotik CRS305 met 1x glas, 2x DAC en 1x UTP is 6.6W oftewel 2,65 euro per maand tegen 0,55 euro/kwh.

EDIT: meer metingen (van de server)

IPMI: 4,5W
SSD: 1W
CX2: 7W
RAID controller: 13W
Transceiver: <0,6W

[D-Three]

citruspers schreef op zaterdag 12 maart 2022 @ 18:13:
Qua OS twijfel ik om over te gaan op TrueNAS om de spindown wat makkelijker te kunnen regelen

Daarvoor hoef je toch geen TrueNAS te hebben? Of wat bedoel je met regelen?

[citruspers]

D-Three schreef op zaterdag 12 maart 2022 @ 22:17:
[...]

Daarvoor hoef je toch geen TrueNAS te hebben? Of wat bedoel je met regelen?

Dat klopt, ik doe het nu met een aantal HDParm regeltjes. Maar wat gemakkelijkere configuratie (van spindown tot shares) kan op zich ook geen kwaad. Daarnaast vind ik ZFSoL ook niet super stabiel (zeker niet met kernel updates).

[Jazsie]

cville schreef op vrijdag 11 maart 2022 @ 22:58:
[...]


Ik kan dat bevestigen: 3700X + 3 * 3.5" HDD + 2 * 1TB SSD + 64GB RAM: 47.8Watt; nog niet getuned.

Netjes, zit nu op <20 watt idle (nog niet getuned) met de nieuwe hardware (i5-9400 + Fujitsu D3643-H) tegenover de 3700X.

Aangezien ik de 3700X niet volledig benut voor mij geen probleem dat ik iets in prestaties moet inleveren.

[Rembock]

@mrmrmr ik lees in het vorige deel van dit dit topic dat je de Nuvoton driver nodig hebt om de fans vanaf de D3643-H te kunnen besturen, heb jij dat al een keer werkend gekregen?

[mrmrmr]

@Rembock

Er is een tool voor Windows om de fan settings in de BIOS te configureren. Dit is een tool voor professioneel borden en het is niet zo gebruiksvriendelijk als bij consumentenborden. Ik heb het wel eens bekeken maar ik heb er niet lang mee gewerkt omdat ik geen fans meer heb in mijn systemen. Details over die tool..

Er is een een configuratie voor de sensorchip. De D3644 heeft een andere sensorchip (fsteutates).

[Rembock]

@mrmrmr bedankt voor de sensors3.conf. Eindelijk 12V zichtbaar, geen rare cijfers en hoefde alleen fan1 & fan2 weer zichtbaar te maken.
Mijn chip wordt door sensors momenteel als een nct6796 herkend terwijl dit eigenlijk een nct5581d hoort te zijn, kijkend naar een eerdere reactie van jou op Heise.de is dit ook bij jou het geval.
Kan ik aannemen dat de Nuvoton driver gebruikt wordt of moet ik die van de ftp van Kontron halen?

[mrmrmr]

@Rembock Dit is specifiek voor de D3643-H:

Er is een Nuvoton NCT5581D super I/O chip aanwezig op het moederbord. Die ondersteunt o.a. temperatuursensoren. 5V sensing ontbreekt zo te zien.

Ik gebruik bij onderstaande test een up to date Debian 11 met de laatste kernel.

De chip wordt herkend als nct6796 met de nct6775 driver. Dat gebeurt wel meer onder Linux. Of er daardoor iets ontbreekt in het resultaat weet ik niet. Als dat zo is denk ik niet dat het veel zal zijn omdat de output uitgebreid is.

In de broncode van de kernel (nct6775 driver) zie ik dit:

Chip	#vin	#fan	#pwm	#temp	chip IDs	man ID
nct6796d	14	7	7	2+6	0xd420 0xc1	0x5ca3

#sensors-detect
(..)
Some Super I/O chips contain embedded sensors. We have to write to
standard I/O ports to probe them. This is usually safe.
Do you want to scan for Super I/O sensors? (YES/no): y
Probing for Super-I/O at 0x2e/0x2f
Trying family `National Semiconductor/ITE'...               No
Trying family `SMSC'...                                     No
Trying family `VIA/Winbond/Nuvoton/Fintek'...               Yes
[b]Found `Nuvoton NCT6796D Super IO Sensors'                   Success!
    (address 0xa20, driver `nct6775')[/b]
Probing for Super-I/O at 0x4e/0x4f
Trying family `National Semiconductor/ITE'...               No
Trying family `SMSC'...                                     No
Trying family `VIA/Winbond/Nuvoton/Fintek'...               No
Trying family `ITE'...                                      No
(..)

nct6775 driver inschakelen:
modprobe nct6775

Toevoegen werkende sensor aan /etc/sensors.d/nct6775.conf:

#without ignore, based on Dinne's config here:
#https://www.heise.de/forum/c-t/Kommentare-zu-c-t-Artikeln/Heim-Server-im-Selbstbau/Re-Kontron-Fujitsu-D3643-H-ftsteutates/posting-36679233/show/

chip "w83627ehf-*" "w83627dhg-*" "w83667hg-*" "nct6775-*" "nct6776-*" \
     "nct6779-*" "nct6791-*" "nct6795-*" "nct6796-*"

    label in1 "+12V"
    compute in1 @ * 12, @ / 12
    set in1_min 12 * 0.95
    set in1_max 12 * 1.1
    label in2 "AVCC"
    set in2_min 3.3 * 0.95
    set in2_max 3.3 * 1.1
    label in3 "+3.3V"
    set in3_min 3.3 * 0.95
    set in3_max 3.3 * 1.1
    label in7 "3VSB"
    set in7_min 3.3 * 0.95
    set in7_max 3.3 * 1.1
    label in8 "VBAT 3.0V"
    set in8_min 3.0 * 0.95
    set in8_max 3.0 * 1.1
    label temp2 "CPU Voltage Regulator"
    label temp3 "Ambient/M.2"
    label temp6 "Graphics"
    label temp7 "CPU direkt"

Resultaat:

#sensors
nct6796-isa-0a20
Adapter: ISA adapter
Vcore:                   0.00 V  (min =  +0.00 V, max =  +2.04 V)
+12V:                   12.19 V  (min = +11.33 V, max = +12.67 V)
AVCC:                    3.33 V  (min =  +3.10 V, max =  +3.49 V)
+3.3V:                   3.36 V  (min =  +3.10 V, max =  +3.49 V)
in4:                     0.00 V  (min =  +0.00 V, max =  +2.04 V)
in5:                    88.00 mV (min =  +0.00 V, max =  +0.00 V)  ALARM
in6:                     1.06 V  (min =  +0.00 V, max =  +0.00 V)  ALARM
3VSB:                    3.33 V  (min =  +3.10 V, max =  +3.49 V)
VBAT 3.0V:               3.07 V  (min =  +2.58 V, max =  +3.30 V)
in9:                     1.06 V  (min =  +0.46 V, max =  +1.06 V)  ALARM
in10:                  136.00 mV (min =  +0.00 V, max =  +0.00 V)  ALARM
in11:                  112.00 mV (min =  +0.00 V, max =  +0.00 V)  ALARM
in12:                  128.00 mV (min =  +0.00 V, max =  +0.00 V)  ALARM
in13:                  112.00 mV (min =  +0.00 V, max =  +0.00 V)  ALARM
in14:                    1.06 V  (min =  +0.00 V, max =  +0.00 V)  ALARM
fan1:                     0 RPM  (min =    0 RPM)
fan2:                     0 RPM  (min =    0 RPM)
fan3:                     0 RPM  (min =    0 RPM)
SYSTIN:                +127.0°C  (high = +80.0°C, hyst = +75.0°C)  ALARM  sensor = thermistor
CPU Voltage Regulator:  +23.5°C  (high = +80.0°C, hyst = +75.0°C)  sensor = thermistor
Ambient/M.2:            +22.5°C    sensor = thermistor
AUXTIN1:               +115.0°C    sensor = thermistor
AUXTIN2:               +126.0°C    sensor = thermistor
Graphics:               +23.0°C    sensor = thermistor
CPU direkt:             +26.0°C
PCH_CHIP_CPU_MAX_TEMP:   +0.0°C
PCH_CHIP_TEMP:           +0.0°C
PCH_CPU_TEMP:            +0.0°C
intrusion0:            ALARM
intrusion1:            ALARM
beep_enable:           disabled

pch_cannonlake-virtual-0
Adapter: Virtual device
temp1:        +25.0°C

coretemp-isa-0000
Adapter: ISA adapter
Package id 0:  +26.0°C  (high = +78.0°C, crit = +100.0°C)
Core 0:        +25.0°C  (high = +78.0°C, crit = +100.0°C)
Core 1:        +26.0°C  (high = +78.0°C, crit = +100.0°C)

Sommige waarden zijn onzinnig, en die kunnen worden verborgen zoals de conf die Dinne heeft gepost op het heise.de forum.

Ik heb de ignore's weggelaten zodat alles zichtbaar is. Ik heb geen idee of de fan rpm werkt omdat ik geen fans heb in mijn systemen.

Dit zijn de weggelaten ignore's:

    ignore in0
    ignore in4
    ignore in5
    ignore in6
    ignore in9
    ignore in10
    ignore in11
    ignore in12
    ignore in13
    ignore in14
    ignore fan1
    ignore fan2
    ignore fan3
    ignore intrusion0
    ignore intrusion1
    ignore beep_enable
    ignore temp1
    ignore temp4
    ignore temp5
    ignore temp8
    ignore temp9
    ignore temp10

modinfo nct6775
filename:       /lib/modules/5.10.0-12-amd64/kernel/drivers/hwmon/nct6775.ko
license:        GPL
description:    Driver for NCT6775F and compatible chips
author:         Guenter Roeck <[e-mail]>
depends:        hwmon-vid
retpoline:      Y
intree:         Y
name:           nct6775
vermagic:       5.10.0-12-amd64 SMP mod_unload modversions
sig_id:         PKCS#7
signer:         Debian Secure Boot CA
sig_key:        4B:6E:F5:AB:CA:66:98:25:17:8E:05:2C:84:66:7C:CB:C0:53:1F:8C
sig_hashalgo:   sha256
signature:      6A:24:8A:A9:C2:BA:40:78:52:A6:F3:E2:D4:8D:03:46:6B:CA:02:EE:
                F6:3A:91:0C:47:84:4D:02:E0:AE:CB:DC:B9:30:50:2B:32:17:24:27:
                9B:82:40:76:DD:6D:C8:35:B0:32:EC:F2:F3:14:69:8D:EC:D7:84:39:
                D9:B2:88:A5:9C:A5:C3:9B:A8:70:A7:36:09:71:DD:5D:BC:F1:E0:A3:
                76:22:4F:FA:85:7F:5A:73:D5:8B:57:3E:3B:55:AF:E8:6C:D7:79:9A:
                ED:8F:09:CB:05:98:74:03:30:E4:D5:58:66:F0:F1:AF:0F:6D:F8:78:
                81:2B:86:A3:CE:49:B0:54:BD:BE:43:C0:A2:07:27:4E:0E:63:70:15:
                A4:BC:17:AE:13:7A:00:56:39:3B:31:C2:6F:7B:C6:84:AE:F8:D6:72:
                B9:26:87:BA:BB:AC:FE:A7:BA:D8:25:3F:9D:44:B3:F9:E5:6E:C9:80:
                6F:65:6F:E3:11:18:AF:C0:5A:32:EB:0C:52:B2:6B:61:76:3B:2B:CE:
                59:33:63:6F:92:C3:8C:D4:2A:E1:F3:62:66:44:4F:89:ED:E6:7A:BF:
                F9:54:9B:E7:41:90:6E:69:7A:FB:67:EF:87:71:84:AF:65:06:BA:CB:
                24:D4:08:C3:C1:F6:02:C3:52:47:4D:AA:76:D6:8B:4F
parm:           force_id:Override the detected device ID (ushort)
parm:           fan_debounce:Enable debouncing for fan RPM signal (ushort)

Er zijn drivers specifiek voor de nct5581D hier: https://github.com/untang...ter/kmod-gpio-nuvoton/src

De kwaliteit daarvan ken ik niet.

Er is een driver specifiek voor Watchdog van Kontron.
ftp://ftp.kontron.com/Ser...mMonitoring_Watchdog_GPIO

Hier staat een Linux driver voor de D354x: Nuvoton_D354x-S_Updated-BMC-Driver_ID-1225022.zip
Ik weet niet of die toepasbaar is, of die meer of minder doet dan de standaard Linux driver, en ik heb hem niet getest. In de code wordt nct6775 genoemd maar nct5581D niet.

[ Voor 18% gewijzigd door mrmrmr op 15-03-2022 00:28 ]

[Newjersey]

Vanwege de stijgende energieprijzen toch besloten om mijn "beest", de ml350 G8, uit te zetten. Dit resulteerde in een nieuwe server die ik sinds vorige week succesvol heb draaien.

#	Category	Product	Prijs	Subtotaal
1	Processors	AMD Ryzen 5 3400G Boxed	€ 0,-	€ 0,-
1	Barebones	ASRock DeskMini X300	€ 0,-	€ 0,-
2	Geheugen intern	G.Skill Ripjaws 4 F4-3200C22S-32GRS	€ 121,51	€ 243,02
1	Solid state drives	Kingston A2000 1TB	€ 99,50	€ 99,50
1	Solid state drives	Samsung 850 EVO 500GB	€ 129,-	€ 129,-
1	Solid state drives	WD Blue SN550 500GB (WDS500G2B0C)	€ 54,91	€ 54,91
			Totaal	€ 526,43

Wat een opluchting. Hij maakt nog maar 0 lawaai en performed prima. Ik moet alleen nog even het verbruik meten. De keuze van de x300 kwam mede door dit topic.

De samenstelling is bijna helemaal tweede hands, op de Kingston A2000 en het geheugen na. De X300 heb ik via marktplaats gekocht en de SSD van Samsung had ik nog liggen. Al met al een top build .

Dank voor de tips in dit topic.

[ Voor 4% gewijzigd door Newjersey op 15-03-2022 12:53 ]

[Rembock]

@mrmrmr dank voor deze zeer uitgebreide uitleg. 5V sensing mis ik niet, de picoPSU geeft toch alleen maar 12V door. Heb nu een vergelijkbaar resultaat waar ik tevreden mee ben

Nu maar eens kijken hoe ik mijn 3pin fans in dc mode kan krijgen zodat ik fancontrol kan gaan inzetten

[mrmrmr]

@Rembock 12V wordt doorgegeven (maar niet rechtstreeks) door de PicoPSU, en de PicoPSU zelf maakt van de 12V input ook 5V, 3.3V, -12V, 5VSB output spanningen aan. De belangrijkste uit die groep zijn 3.3V en 5V.

De overige spanningen worden op het moederbord of in onderdelen gemaakt, bijvoorbeeld VRM's op het moederbord doen dat voor de processor en DIMM's gebruiken een op het moederbord gemaakt spanning van (JEDEC) standaard 1.2V en zetten dat nog verder om.

4 pin PWM fans kunnen worden aangestuurd via parameters maar dat kan moet via de genoemde tool worden gedaan. Het kan niet rechtstreeks in de BIOS zoals bij veel consumentenmoederborden.

Volgens de handleiding moet er wel een minimaal aantal rpm's zijn (900 dacht ik). Ik heb zelf gezien dat de fan steeds opnieuw harder-zachter-etc gaat draaien bij een laag aantal rpm. Wat ik vroeger deed om het verbruik en de rpm te verlagen is het gebruiken van 7V of 5V. Daar zijn speciale kabeltjes voor die bijvoorbeeld verbinden met 5V en 12V, dus met een spanningsverschil van 7V (12-5=7). Het kan ook via 5V, maar niet alle fans starten op 5V.

[mrmrmr]

Ik heb voor een test een 3-pins fan aangesloten op de D3643-H (zie een paar posts terug). Die geeft keurig een rpm waarde.

De onbekende spanningswaarden zijn in5, in6, in9, in14. in5 geeft 88.0mV. De andere geven 1.06V weer. Dat is misschien een beetje hoog voor een processorspanning, maar dat zou het toch kunnen zijn. Kort na opstarten zijn was de weergave zo:

in5: 96mV
in6: 1.04V
in9: 1.06V
in14: 1.02V

Wat later:

in5: 86mV
in6: 1.06V
in9: 1.07V
in14: 1.06V

Het lijkt dus wel iets te meten, misschien cores en/of package en/of gpu spanningswaarden? Misschien is er toch een correctiefactor nodig.

Sensoren hebben soms een vermenigvuldigingsfactor. zoals de V-IN waarde die ~12 keer hoger ligt. Die factoren zijn het gevolg van een beperking tot 4.08 van de waarde (12 bits?). 5V is ook te hoog voor een rechtstreekse meetwaarde.

# sensors
nct6796-isa-0a20
Adapter: ISA adapter
V-IN (12V):   12.19 V  (min = +11.33 V, max = +12.67 V)
ANALOG 3.3V:   3.34 V  (min =  +3.10 V, max =  +3.49 V)
VCC 3.3V:      3.36 V  (min =  +3.10 V, max =  +3.49 V)
in5:          88.00 mV (min =  +0.00 V, max =  +0.00 V)  ALARM
in6:           1.06 V  (min =  +0.00 V, max =  +0.00 V)  ALARM
3.3V AUX:      3.33 V  (min =  +3.10 V, max =  +3.49 V)
VBAT 3.0V:     3.07 V  (min =  +2.58 V, max =  +3.30 V)
in9:           1.06 V  (min =  +0.46 V, max =  +1.06 V)  ALARM
in14:          1.06 V  (min =  +0.00 V, max =  +0.00 V)  ALARM
SYS:          869 RPM  (min =    0 RPM)
CPU:            0 RPM  (min =    0 RPM)
Core:         +23.0°C  (high = +80.0°C, hyst = +75.0°C)  sensor = thermistor
Ambient/M.2:  +22.5°C    sensor = thermistor
Graphics:     +22.5°C    sensor = thermistor
PECI CPU0:    +25.5°C

pch_cannonlake-virtual-0
Adapter: Virtual device
temp1:        +25.0°C

coretemp-isa-0000
Adapter: ISA adapter
Package id 0:  +26.0°C  (high = +78.0°C, crit = +100.0°C)
Core 0:        +25.0°C  (high = +78.0°C, crit = +100.0°C)
Core 1:        +25.0°C  (high = +78.0°C, crit = +100.0°C)

/etc/sensors.d/nct5581d.conf:

chip "w83627ehf-*" "w83627dhg-*" "w83667hg-*" "nct6775-*" "nct6776-*" "nct6779-*" "nct6791-*" "nct6795-*" "nct6796-*"

    ignore in0
    label in1 "V-IN (12V)"
    compute in1 @ * 12, @ / 12
    set in1_min 11.4
    set in1_max 12.6
    label in2 "ANALOG 3.3V"
    set in2_min 3.135
    set in2_max 3.465
    label in3 "VCC 3.3V"
    set in3_min 3.135
    set in3_max 3.465
    ignore in4
    set in4_min 0.835
    set in4_max 0.924
#    ignore in5
#    ignore in6
    set in6_min 1.00
    set in6_max 1.10
    label in7 "3.3V AUX"
    set in7_min 3.135
    set in7_max 3.465
    label in8 "VBAT 3.0V"
    set in8_min 2.85
    set in8_max 3.15
#    ignore in9
    ignore in10
    ignore in11
    ignore in12
    ignore in13
#    ignore in14
    ignore beep_enable
    ignore temp1
    label temp2 "Core"
    label temp3 "Ambient/M.2"
    ignore temp4
    ignore temp5
    label temp6 "Graphics"
    label temp7 "PECI CPU0"
    ignore temp8
    ignore temp9
    ignore temp10
    label fan1 "SYS"
    label fan2 "CPU"
    ignore fan3
    ignore intrusion0
    ignore intrusion1

De benamingen komen uit de BIOS. fan1 correspondeert met SYS.

VBAT is de batterij spanning.

De min/max (alarm)waarden instellen voor in5, in6 lukte niet. Ergens is er "iets" eigenwijs in de overname van de grenswaarden. Voor 12V is dat toch echt 11.4 en 12.6V en niet 11.33V en 12,67V.

in6 neemt de min en max waarden niet over en blijft op 0.

Ik kon geen datasheet vinden voor de NCT5581D maar dit zou er op kunnen lijken: https://www.nuvoton.com/r...T6796D_Datasheet_V0_6.pdf

Daarin staat dat er registers zijn met low en high waarden van spanning.

in9 heeft min en max waarden (c.q. low en high) die zijn ingesteld op 0.46V en 1.06, maar de gerapporteerde waarde is al 1.06V. Heeft iemand een idee daarover?

[ Voor 8% gewijzigd door mrmrmr op 16-03-2022 13:11 ]

[Rembock]

mrmrmr schreef op woensdag 16 maart 2022 @ 00:54:
@Rembock 12V wordt doorgegeven (maar niet rechtstreeks) door de PicoPSU, en de PicoPSU zelf maakt van de 12V input ook 5V, 3.3V, -12V, 5VSB output spanningen aan. De belangrijkste uit die groep zijn 3.3V en 5V.

Ah, ik snap je nu. Ik dacht dat je het over 5V input had

4 pin PWM fans kunnen worden aangestuurd via parameters maar dat kan moet via de genoemde tool worden gedaan. Het kan niet rechtstreeks in de BIOS zoals bij veel consumentenmoederborden.

Dat had ik ook verwacht voor mijn PWM fan op de CPU, maar toch kan ik die om een 1 of andere reden niet aanpassen via fancontrol.

Volgens de handleiding moet er wel een minimaal aantal rpm's zijn (900 dacht ik). Ik heb zelf gezien dat de fan steeds opnieuw harder-zachter-etc gaat draaien bij een laag aantal rpm. Wat ik vroeger deed om het verbruik en de rpm te verlagen is het gebruiken van 7V of 5V. Daar zijn speciale kabeltjes voor die bijvoorbeeld verbinden met 5V en 12V, dus met een spanningsverschil van 7V (12-5=7). Het kan ook via 5V, maar niet alle fans starten op 5V.

Jammer, had gehoopt dat ik toch op een bepaalde manier het voltage kon bepalen voor mijn DC fans zonder extra kabels. Mijn doel was om deze onder een bepaalde temperatuur uit te schakelen, maar zie nu in dat ik hiervoor toch een aantal PWM fans moet aanschaffen. Ik neem aan omdat in de BIOS de fan2 aansluiting op het moederbord niet te wijzigen is van PWM naar DC?

Heb het geluk dat er een Low-Noise Adaptor bij mijn processorkoeler inbegrepen zat, die ga ik er vanavond maar eens inhengelen

Nogmaals bedankt voor alle gedeelde kennis!

Edit:
Crap, dan moet ik natuurlijk voor elke fan een adaptor hebben
Dan maar zoeken naar een paar mooie PWM fans

[ Voor 3% gewijzigd door Rembock op 16-03-2022 16:33 ]

[andru123]

Newjersey schreef:
Ik moet alleen nog even het verbruik meten.

En...? Spannend! Niet veel AMD-ers in dit topic, en de info dat is beschikbaar is tegenstrijdig

[ Voor 5% gewijzigd door andru123 op 17-03-2022 03:55 ]

[Newjersey]

andru123 schreef op donderdag 17 maart 2022 @ 03:54:
[...]

En...? Spannend! Niet veel AMD-ers in dit topic, en de info dat is beschikbaar is tegenstrijdig

Ik moet nog een verbruiksmeter bestellen. Het zijn er zo veel dat ik door de bomen het bos niet meer zie. Als iemand nog tips heeft, graag .

[mrmrmr]

Er staan er een paar in de topic start en daar staat ook een verwijzing naar een ander topic over energiemeters.

[Wasp]

Momenteel heb ik twee servers draaien. Een HP Microserver Gen8 met 4x 4 TB storage, draaiende op FreeNAS, in een RaidZ 10 configuratie. Daarnaast een whitebox VMWare ESX server met twee SSD's en 32 GB RAM (linkjes naar inventaris).

Ik wil eigenlijk niet achteruit gaan op functionaliteit, maar wel achteruit op stroomverbruik Ik heb daarom de volgende componenten samengesteld:

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Core i3-10105 Boxed	€ 108,90	€ 108,90
1	Moederborden	Gigabyte B560M DS3H V2	€ 88,90	€ 88,90
2	Interne harde schijven	WD Red (256MB cache), 4TB	€ 84,32	€ 168,64
1	Behuizingen	Chieftec CI-01B-OP	€ 54,95	€ 54,95
1	Kabels	Startech.com 4x SATA Power Splitter Adapter Cable (PYO4SATA) Zwart	€ 5,95	€ 5,95
1	Geheugen intern	Corsair Vengeance LPX CMK64GX4M2E3200C16	€ 239,-	€ 239,-
1	Voedingen	Mini-box picoPSU 90	€ 41,65	€ 41,65
1	Solid state drives	Samsung 870 Evo 500GB	€ 62,99	€ 62,99
1	Solid state drives	Samsung 980 1TB	€ 104,90	€ 104,90
1	Overige componenten	Mini-box PCI Bracket	€ 3,20	€ 3,20
Bekijk collectie Importeer producten			Totaal	€ 879,08

Hier komt uiteindelijk Proxmox op te draaien, met die 2 harde schijven in een ZFS mirror. Alle VM's die ik nu op mijn VMWare machine heb draaien worden zoveel mogelijk LXC containers. (Zal sowieso 1 Windows VM overblijven). De ZFS pool wordt mijn fileshare, op de NVME disk komen de VM's, en de 500 GB 2.5" SSD wordt de bootdisk voor Proxmox (en evt ZFS caching?).

Naast de picoPSU 90 moet ik nog een adapter hebben. Ik zie even door de bomen het bos niet meer. Kan iemand mij de juiste aanwijzen? Het mag best wat kosten, als het maar zo zuinig mogelijk is.

Het moederbord heb ik gekozen omdat deze een paar keer in builds naar voren kwam in dit topic. Maar het is mij niet duidelijk of dit moederbord bekend staat om zijn zuinigheid...

Wat denken jullie, is de PicoPSU 90 krachtig genoeg voor deze setup? De processor heeft een TDP van 65W, maar of dat nou alleszeggend is...

[N8w8]

edit: ik begreep dat je 4x4TB schijven had, maar dat zijn er dus 2. Ik laat deze (aangepaste) reactie toch maar staan, ook al heeft ie mss wat minder nut.

@Wasp, de WD schijven gebruiken samen 6W idle? De rest ook ~10W? (zeer grove schatting)
Slapen ze meestal dan is dat wel wat minder.
Als het idle verbruik wat hoger is, wordt een PicoPSU minder interessant tov n "gewone" voeding.
Of dat in jouw geval ook zo is weet ik zo snel niet, maar dat zou je nog kunnen bekijken.

Wil je een PicoPSU, de WD schijven hebben 42W piek verbruik? (en dan de rest er nog bij).
Dan moet je iig ook n adapter nemen die dat kan leveren.

[ Voor 37% gewijzigd door N8w8 op 18-03-2022 14:25 ]

[mrmrmr]

@Wasp Ik tel 2 disks, klopt dat?

De schijven verbruik 2x 3.1W = 6,2W in idle. Voor het verbruik is het beter om 3.5" hard disks toe te passen voor het doel van langdurige opslag. Het verbruik bij opstarten is 21W per stuk en 42W als de maxima precies zouden samenvallen. Dat laat 42W voor de rest van het systeem met een 84W voeding.

Ik zou deze oude disks benutten voor incidentele backup via USB3 (met externe adapter). Zodoende worden ze niet voortdurend draaiende gehouden. Voor massa opslag kun je 2.5" 4 of 5TB disks toepassen. Die verbruiken in idle maar 0,85W en in spindown 0,18W per stuk. Zodoende kun je de PicoPSU toepassen. Het verbruik met 10TB HD capaciteit komt dan op circa 9W in idle in geoptimaliseerde vorm, zonder virtual machines.

De FSP096-AHAN3 adapter is het zuinigste, maar die is niet goedkoop. Een zuinig alternatief is de XP Power VES120PS12, die is wat beter verkrijgbaar. Een test staat hier: random bits: Efficiency tests van 12V adapters (voor zuinige servers)

De PicoPSU 90W kit bevat ook een FSP adapter die geschikt is voor dit verbruik.

Het verbruik hangt niet alleen af van hardware, maar ook van de software en configuratie. Goede resultaten worden behaald met Debian, Ubuntu of Windows. Die besturingssystemen bieden goede energiebesparende functies.

[pimlie]

Is er nog een zuinig alternatief voor een systeem met ECC support nu de D3644-B niet meer leverbaar lijkt te zijn?

[Raven]

pimlie schreef op zondag 20 maart 2022 @ 18:45:
Is er nog een zuinig alternatief voor een systeem met ECC support nu de D3644-B niet meer leverbaar lijkt te zijn?

Toen ik laatst eens naar een zuinig systeem met ECC zocht kwam ik uit bij Intel Xeon W-1290P Benchmarks and Review A Top-End SKU op een Supermicro X12SAE

We wanted to post a few figures from our testing that show the real selling point of the chips, low power.
- Idle Power (Performance Mode): 39W
- STH 70% Load: 144W
- STH 100% Load: 168W
- Maximum Observed Power (Performance Mode): 184W

Zuiniger dan dat, met een Xeon, heb ik niet kunnen vinden.

[OMX2000]

pimlie schreef op zondag 20 maart 2022 @ 18:45:
Is er nog een zuinig alternatief voor een systeem met ECC support nu de D3644-B niet meer leverbaar lijkt te zijn?

Ik heb een i3 8100, ecc geheugen en een kast liggen. En ik had in september het idee dat de D3644 misschien nog in prijs zou dalen…

Anywayz ik denk dat ik voor dit bord ga: pricewatch: Asrock Rack C246M WS

Niet zo zuinig, maar zuinig genoeg. Ben nog aan het dubben of ik voor 6 WD Red schijven van 4TB in RaidZ6 (zfs) ga zetten. Of voor 2x Toshiba 18 TB schijven en belangrijk spul gewoon backuppen. Dat laatste met ZFS natuurlijk ook, maar ff bedenken hoe erg ik downtime echt vindt. Want mijn huidige server staat inmiddels 3 maanden uit vanwege verhuizing, en nog geen man overboord.

[Wasp]

@N8w8 @mrmrmr Ik vergat idd te melden dat ik in de nieuwe situatie voldoende heb aan 4 TB netto opslag. Ik ga wat minder bewaren

In mijn setup zie ik inderdaad dat het spin-up stroomverbruik van de 4 TB disken de grootste uitdaging zal zijn. Daarom heb ik een volgend idee in mijn hoofd:

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Core i3-10105 Boxed	€ 108,88	€ 108,88
1	Moederborden	Gigabyte B560M DS3H V2	€ 88,90	€ 88,90
1	Interne harde schijven	WD Red (256MB cache), 4TB	€ 84,32	€ 84,32
1	Behuizingen	Chieftec CI-01B-OP	€ 55,06	€ 55,06
1	Kabels	Startech.com 4x SATA Power Splitter Adapter Cable (PYO4SATA) Zwart	€ 5,95	€ 5,95
1	Geheugen intern	Corsair Vengeance LPX CMK64GX4M2E3200C16	€ 239,-	€ 239,-
1	Voedingen	Mini-box PicoPSU-90 + 84W (Fortron) Adapter Power Kit	€ 75,35	€ 75,35
1	Solid state drives	Samsung 870 QVO 4TB	€ 315,-	€ 315,-
1	Solid state drives	Samsung 980 1TB	€ 104,90	€ 104,90
1	Overige componenten	Mini-box PCI Bracket	€ 3,20	€ 3,20
Bekijk collectie Importeer producten			Totaal	€ 1.080,56

Aanpassingen:

• Een Samsung 870 QVO 4 TB i.p.v. 1 WD Red 4 TB. Hier ga ik mijn fileshare op doen. Elke nacht (of vaker, even zien) ga ik alles wat op deze schijf staat rsyncen naar de WD Red toe. De rest van de dag zal deze dus überhaupt niet draaien.
• De 870 Evo 500 GB vervalt omdat ik Proxmox ga installeren op de 980 NVME. Daar passen ook nog wel wat containers en VM's op
• Op advies van @mrmrmr de pricewatch: Mini-box PicoPSU-90 + 84W (Fortron) Adapter Power Kit toegevoegd in de lijst

Ik zou eventueel de WD Red 4TB nog kunnen vervangen voor een WD Blue 6TB SMR (voor netto hetzelfde geld) - Ik ga immers nooit rechtstreeks lezen vanaf deze HD, alleen bij het noodgeval als de QVO de geest geeft. Die 6 TB is dan groot genoeg voor zowel een full backup van de 1 TB NVME SSD als de 4 TB QVO SSD.

M.i. moet de Pico deze configuratie wel kunnen hebben toch, als ik 1 energieslurpende HD schrap? Server zal 90% idle draaien is mijn verwachting.

[mrmrmr]

@Wasp Met 1x 3.5 disk met een maximum verbruik van 24W is die voedingconfiguratie mogelijk. Het maximaal verbruik van de processor kun je het beste beperken in de BIOS. Bijvoorbeeld door de turbo uit te schakelen of door een maximale stroom of vermogen in te stellen wordt het maximum verbruik (PL2) niet gehaald. De PL2 van deze processor is 90W. Die moet dus omlaag.

Let op dat het opstarten van de 3.5" disk niet samenvalt met het maximaal verbruik van de processor. De processor kan worden gelimiteerd zodat er nog 24W overblijft voor het opstarten van de 3.5" disk.
De spindown moet niet te snel zijn ingesteld. 15 minuten is veilig. Bij een korte instelling kan de disk direct na het afwerken van de opdracht weer in spindown gaan, dat is meestal niet gewenst als de taak die gaat schrijven nog loopt.

Het label op een voeding geeft het maximale langdurige ("nominale") verbruik aan. Het mag korte tijd ~10% hoger zijn. In deze kit bepaalt de 12V adapter het nominale verbruik op 84W. Dat is het bruto verbruik, aan de stekker zal het verbruik hoger zijn omdat het omzetten van AC naar DC en de lage spanning energie kost.

Een 2.5" 4TB of 5TB Seagate disk heeft heel weinig nodig om op te starten (3,75W), daarom is die zo geschikt voor een zuinige server. De PL2 kan dan hoger. Deze disk is goedkoper in externe vorm (zie de opmerkingen in de topic start bij de disks).

[ Voor 5% gewijzigd door mrmrmr op 21-03-2022 10:08 ]

[N8w8]

@Wasp, (wat mrmrmr zegt, en)
Ik zie nu ook dat je RAM kiest dat op 3200MT/s 1,35V draait.
Terwijl je CPU max 2666 kan, en "gewoon" 1,2V RAM ook werkt.

Weet ik niet, maar wellicht kan je dat RAM ook wel draaien op 2666 op 1,2V.
Al moet je dat mss wel handmatig instellen (ook de latency wat verhogen).
Of wellicht kan je deze nemen, die zou ootb al "goed" moeten draaien (2666 1,2V).

Geheugen klok en latency maken toch weinig uit qua performance (behalve bij gamen/compressie/transcoden?), dus als je het "zo zuinig mogelijk" wilt lijkt me dat wel n idee, al zou ik niet weten hoeveel dat dan scheelt qua verbruik.

[Wasp]

Opnieuw dank @mrmrmr en @N8w8!

Als ik dus gebruik ga maken van een 2.5" harde schijf ipv die 3.5", dan maak ik het mijzelf een stuk makkelijker. Enige overweging voor mij om dat niet te doen was de betrouwbaarheid van bv de pricewatch: Seagate Barracuda Compute 2,5" (5400rpm), 5TB

Qua prijs zie ik inderdaad dat externe harde schijven goedkoper zijn. Maar de genoemde hierboven is qua prijs niet heel veel duurder, en dan behoud ik garantie en dergelijke.

Verder het geheugen aangepast naar de suggestie van @N8w8.

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Core i3-10105 Boxed	€ 108,88	€ 108,88
1	Moederborden	Gigabyte B560M DS3H V2	€ 88,90	€ 88,90
1	Interne harde schijven	Seagate Barracuda Compute 2,5" (5400rpm), 5TB	€ 119,90	€ 119,90
1	Behuizingen	Chieftec CI-01B-OP	€ 55,06	€ 55,06
1	Kabels	Startech.com 4x SATA Power Splitter Adapter Cable (PYO4SATA) Zwart	€ 5,95	€ 5,95
1	Geheugen intern	G.Skill Ripjaws V F4-2666C19D-64GVK	€ 237,-	€ 237,-
1	Voedingen	Mini-box PicoPSU-90 + 84W (Fortron) Adapter Power Kit	€ 75,35	€ 75,35
1	Solid state drives	Samsung 870 QVO 4TB	€ 315,-	€ 315,-
1	Solid state drives	Samsung 980 1TB	€ 104,90	€ 104,90
1	Overige componenten	Mini-box PCI Bracket	€ 3,20	€ 3,20
Bekijk collectie Importeer producten			Totaal	€ 1.114,14

[D-Three]

OMX2000 schreef op zondag 20 maart 2022 @ 19:37:
Anywayz ik denk dat ik voor dit bord ga: pricewatch: Asrock Rack C246M WS

Ik heb de ITX variant, geen problemen mee maar inderdaad iets minder zuinig. De vraag is of dat veel uit maakt aangezien je voor ZFS gaat

Wasp schreef op zondag 20 maart 2022 @ 21:57:
• Een Samsung 870 QVO 4 TB i.p.v. 1 WD Red 4 TB. Hier ga ik mijn fileshare op doen. Elke nacht (of vaker, even zien) ga ik alles wat op deze schijf staat rsyncen naar de WD Red toe. De rest van de dag zal deze dus überhaupt niet draaien.

Ik zou eventueel de WD Red 4TB nog kunnen vervangen voor een WD Blue 6TB SMR (voor netto hetzelfde geld) - Ik ga immers nooit rechtstreeks lezen vanaf deze HD, alleen bij het noodgeval als de QVO de geest geeft. Die 6 TB is dan groot genoeg voor zowel een full backup van de 1 TB NVME SSD als de 4 TB QVO SSD.

Kijk eventueel ook eens naar Snapraid.

[pimlie]

Raven schreef op zondag 20 maart 2022 @ 19:11:
Toen ik laatst eens naar een zuinig systeem met ECC zocht kwam ik uit bij Intel Xeon W-1290P Benchmarks and Review A Top-End SKU op een Supermicro X12SAE

Interessant, die proc heeft een TDP van 125 watt. Er zijn ook Xeon's met 65 watt tdp, hopelijk zijn die nog iets zuiniger in idle maar betwijfel het. Zou graag op <20 watt idle uitkomen ex disks.

@OMX2000 of @D-Three Heeft een van jullie toevallig enige getallen voor dat Asrock bord? Hoeveel minder zuinig is 'iets minder zuinig'?

[D-Three]

@pimlie Hoeveel minder zuinig is uiteraard moeilijk te zeggen zonder 2 identieke setups te hebben met enkel een verschillend moederbord Maar een getal kan ik zeker geven. Bij de onderstaande setup meet ik met de Brennenstuhl PM 231 E ongeveer 11W. Dit is volledig idle met alle HDD's in spindown. Vlak na een reboot met alle HDD's draaiend is dit ongeveer 23W.

Proxmox heb ik er onlangs af gegooid en vervangen door OMV6 wat beter overeen komt met mijn gebruik. Het OS staat op de SSD. De meer veranderlijke data (camerabeelden, tijdelijke data, ...) komen op de 320 GB 2,5" drive die ik nog had liggen. Die zal later waarschijnlijk nog vervangen worden. De meer statische data komt op één van de 3,5" HDD's, de tweede 3,5" HDD dient voor Snapraid. Zo moeten de grotere drives minder draaien. Spindown staat nu op 30 minuten. Af en toe komen ze nog uit slaap, ik moet nog even nakijken waarom.

In realiteit zal het verbruik dus wel hoger liggen dan 11W, zeker als er meer dockers op gaan draaien en bepaalde drives minder in slaap gaan. Maar als ik gemiddeld ongeveer 15W kan benaderen, ben ik tevreden.

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Core i3-8100 Boxed	€ 0,-	€ 0,-
1	Moederborden	ASRock C246 WSI	€ 230,90	€ 230,90
2	Interne harde schijven	Seagate IronWolf, 3TB	€ 90,90	€ 181,80
1	Interne harde schijven	WD AV, 320GB	€ 0,-	€ 0,-
1	Behuizingen	Inter-Tech 1.5U-1528L	€ 84,90	€ 84,90
1	Computer accessoires	Leicke ULL Power Supply 120 W	€ 33,36	€ 33,36
2	Ventilatoren	Noctua NF-A6x25 PWM, 60mm	€ 13,30	€ 26,60
1	Geheugen intern	Adata XPG Z1 (AX4U300038G16-DRZ)	€ 0,-	€ 0,-
1	Solid state drives	Transcend 430S 256GB	€ 48,97	€ 48,97
Bekijk collectie Importeer producten			Totaal	€ 606,53

[pimlie]

@D-Three Bedankt voor de info, 11 watt idle lijkt behoorlijk netjes te zijn voor zo'n systeem. Schrok een beetje van die 39W van dat Supermicro bord terwijl er niet eens 3.5" disks in leken te zitten

[D-Three]

pimlie schreef op dinsdag 22 maart 2022 @ 19:21:
@D-Three Bedankt voor de info, 11 watt idle lijkt behoorlijk netjes te zijn voor zo'n systeem. Schrok een beetje van die 39W van dat Supermicro bord terwijl er niet eens 3.5" disks in leken te zitten

Lastige vergelijking De voeding lijkt mij onbekend en de CPU van dat systeem is van een totaal ander kaliber.

[ Voor 6% gewijzigd door D-Three op 22-03-2022 20:47 ]

[Vidar]

Op dit moment heb ik een raspberry pi met nextcloud draaien, maar ik loop daar toch tegen wat beperkingen aan. Ik zit erover te denken om de pi te vervangen door het onderstaande systeem. Daar zou ik dan nextcloud op willen draaien, misschien Home assistent en een webservertje. Dat alles met behulp van docker.

Ik vraag me nu alleen af wat voor voeding (qua vermogen) hier het beste bij zou passen en valt er iets te zeggen over het verbuik in idle? Ook voor andere adviezen sta ik open.

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Pentium Gold G7400 Boxed	€ 82,-	€ 82,-
1	Moederborden	ASRock H610M-ITX/ac	€ 129,90	€ 129,90
1	Processorkoeling	Noctua NH-L9i-17xx	€ 41,90	€ 41,90
1	Geheugen intern	Kingston ValueRAM KVR32N22D8/16 (retail)	€ 69,-	€ 69,-
1	Solid state drives	Kingston A2000 1TB	€ 99,50	€ 99,50
			Totaal	€ 422,30

[mrmrmr]

@Vidar Je kunt prima uit de voeten met een PicoPSU-90 met 12V adapter, bijvoorbeeld de PicoPSU-90 + Fortron (FSP) adapter kit. Voor de SSD kun je beter een type kiezen dat geen problemen heeft met low power states. Intel P660 of P670 is zuinig. SATA SSD is veel makkelijker in een low power idle te krijgen, daarom raad ik die aan. Een Samsung 8x0 EVO is prima, een oude 840 is al goed.

Ik neem aan dat je geen hard disks gaat toepassen. Wil je dat later wel, kies dan bij voorkeur voor 2.5" drives of externe 3.5" drives die alleen tijdelijk aanstaan, bijvoorbeeld voor een backup, via USB3 aangesloten.

Wat betreft de inrichting en energieverbruik kun je het beste alle software onder hetzelfde besturingsysteem draaien. Met een webserver en NextCloud kan dat prima. Dat kost nauwelijks energie onder een zuinig OS zoals Debian. Virtualisatie en monitoring kosten vaak wel energie.

Onder Debian kunnen services efficient met systemd parameters (met beperkte permissies/root capabilities) draaien. Dat lijkt een beetje op hoe Apple applicaties scheidt met Launchd, het is goed voor security. Het nadeel is dat het nog niet algemeen wordt gedaan en dat applicatiemakers er soms geen interesse in hebben.

[MR.Harok]

Met veel interesse lees ik hier al een tijdje mee.

Op dit moment heb ik een Asus VivoBook Pro 15 N580VD-E4392T (+16gb extra geheugen, 860 evo 500gb, 256gb micron intern, 1x extern hdd 2,5 1tb en 1x een WD elements 3 tb beide via usb c hub). Hierop draai ik Unraid met 1 virtual machine (home assistant) en 4-5 dockers (plex, qbittorrent, unifi, adguard). Deze creactie heeft de naam Frankenstein gekregen.

Vandaag voor het eerst een meeting uitgevoerd bij frankenstein en wat blijkt: 80w idle.... waarschijnlijk deels te wijten aan het feit dat het scherm niet uit kan.

Mijn doel is om frankenstein te vervangen voor iets minder frankensteinsachtig, energie zuiniger, uitbreiding van opslag en de mogelijkheid een parity disk toe te voegen (over dezelfde usb verbinding als andere disk is geen goed idee).

Hiervoor heb ik de volgende lijst gemaakt:

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Core i3-10105 Boxed	€ 108,91	€ 108,91
1	Moederborden	Gigabyte B560M DS3H V2	€ 88,90	€ 88,90
1	Behuizingen	Chieftec CI-01B-OP	€ 54,95	€ 54,95
1	Kabels	Startech.com 4x SATA Power Splitter Adapter Cable (PYO4SATA) Zwart	€ 6,95	€ 6,95
1	Geheugen intern	G.Skill Ripjaws V F4-2666C19D-16GVR	€ 74,95	€ 74,95
1	Voedingen	Mini-box PicoPSU-90 + 84W (Fortron) Adapter Power Kit	€ 75,35	€ 75,35
1	Solid state drives	Samsung 860 EVO 500GB	€ 67,99	€ 67,99
1	Overige componenten	Mini-box PCI Bracket	€ 3,20	€ 3,20
Bekijk collectie Importeer producten			Totaal	€ 481,20

Hieraan wil ik minimaal 12tb aan bruikbare storage aan hangen met de optie dit in de toekomst uit te breiden. Ik zal zelf te denken aan:
1x 3,5 inch 12 tot 16 tb parity disk
1x 3,5 inch 12 tot 16 tb normale disk

optioneel meenemen uit oude build en andere spullen die ik heb liggen:
(optioneel) 1x 3 tb wd elements disk
(optioneel) 1x 1 tb disk
(optioneel) 1x 1 tb nvme storage

Naast dat ik opzoek ben naar advies van mensen die ervaring hebben, heb ik ook een aantal vragen:
1. is de voeding wel voldoende krachtig, vooral met oog op later extra opslag toevoegen, is ATX wellicht een beter alternatief.
2. is de keuze voor 3,5 inch schijven wel verstandig zou dit ook niet 2,5 disks kunnen? Zijn er dan wel voldoende sata poorten?

[mrmrmr]

@MR.Harok Ik denk dat je het in eerste instantie in de instellingen, configuratie en software kunt zoeken naar besparingen. Vaak staan high end laptops standaard op performance mode als ze gekoppeld zijn aan 230V, powersaving is veel beter, kijk naar powertop --auto-tune en eventueel instellingen in de GUI of apart xset dpms voor de grafische kaart en de monitor. Zijn alle zuinigheidsinstellingen in de BIOS ingeschakeld? Denk aan instellingen voor disks (ALPM) en processor (C-states, etc).

Kun je de GeForce GTX 1050 softwarematig vanuit het besturingssysteem uitschakelen en de geintegreerde gpu van de processor gebruiken? Een gaming GPU veroorzaakt een onnodig hoog verbruik in een server. Het scherm mag al na 15 minuten uit, want die is niet nodig voor een server. Zie de topic start onder tips.
Als de gpu als een kaartje is uitgevoerd kun je die misschien uit de behuizing halen. Dat is mogelijk het zuinigst.

Wat is bij dit systeem de idle belasting?
Welke processen veroorzaken die belasting?

top kan hierbij helpen.

---

2.5" disks zijn de beste keuze. Bestaande 3.5" disks kun je nog benutten voor backup, door ze alleen wanneer nodig via USB en met eigen adapter tijdelijk aan te sluiten. De adapter moet dus niet blijven zitten, want dat verbruikt ook onnodig energie. Een stekkerdoos met schakelaar kan goed van pas komen om dat effect te bereiken.

RAID-achtige configuraties voegen ook veel extra verbruik toe aan een systeem. Dat komt door een eventuele controller en ook door de extra disks zelf, die elk een tamelijk hoog verbruik hebben en doordat er meer drives worden gebruikt die vaak continu draaien. Veel zuiniger is een goede backupstrategie te hanteren als je gegevensverlies wilt voorkomen.
Een draaiende 3.5" disk kost ergens tussen 3W en 8W in idle, afhankelijk van het type drive. Een 2.5" disk verbruikt maar een fractie: 0,85W en 0,18W in spindown voor een Seagate 4 of 5TB. Zo weinig mogelijk disks toepassen is het beste - binnen een gegeven formaat. Meestal heeft een grotere disk een betere capaciteit per Watt verhouding.

[Vidar]

@mrmrmr Bedankt voor je snelle reactie. Je hebt er duidelijk verstand van.
Ik heb nog een 850 EVO liggen en die kan ik dus beter gebruiken dan een M2? Harddisks komen er niet in. Ik heb inderdaad al een 2.5 externe schijf voor het backuppen. Overigens draait daar nu de pi-nextcloud server op, maar dat wordt dan dus de backup schijf.

Bedankt voor je overige adviezen, systemd zegt me nog niks. Moet ik me maar eens in gaan verdiepen.

[Jan-man]

Sinds vandaag een HP Prodesk 600 4G mini op de kop getikt.

2 x 256GB Nvme in raid 1
1 x 1TB 2.5 inch crucial mx500 SSD
8 GB DDR4
Intel Core i5-8500T

Enige power setting die ik aangezet heb is de 25 watt tdp modus.

Doet nu zonder Hyper-V vm's 9 watten aan stroom verbruiken.

Komt nog 32 GB geheugen in en daarnaast voor nu een 4 tal vm's. Ik zal jullie op de hoogte houden wat het vebruik zal zijn.

Uiteindelijk zal er een andere server komen. Maar ben beetje besluiteloos en de zonnewering had voorrang dus weer even doorsparen .

[ Voor 14% gewijzigd door Jan-man op 24-03-2022 22:29 ]

[mrmrmr]

Vidar schreef op donderdag 24 maart 2022 @ 22:24:
@mrmrmr Bedankt voor je snelle reactie. Je hebt er duidelijk verstand van.
Ik heb nog een 850 EVO liggen en die kan ik dus beter gebruiken dan een M2? Harddisks komen er niet in. Ik heb inderdaad al een 2.5 externe schijf voor het backuppen. Overigens draait daar nu de pi-nextcloud server op, maar dat wordt dan dus de backup schijf.

Ja, ik gebruik zelf ook een aantal 850 EVO's. De Seagate 2.5" 4TB en 5TB disks kunnen uit de externe behuizing worden gehaald (zie topic start).

Bedankt voor je overige adviezen, systemd zegt me nog niks. Moet ik me maar eens in gaan verdiepen.

Dat is alleen als je verschillende functies wil scheiden (voor security). Voor andere doelen, zoals zuinigheid, is het niet nodig. Het is niet makkelijk om de scheidingsfuncties te gebruiken, het is niet intuïtief.

[Ankh]

Jan-man schreef op donderdag 24 maart 2022 @ 22:24:
Sinds vandaag een HP Prodesk 600 4G mini op de kop getikt.

2 x 256GB Nvme in raid 1
1 x 1TB 2.5 inch crucial mx500 SSD
8 GB DDR4
Intel Core i5-8500T

Enige power setting die ik aangezet heb is de 25 watt tdp modus.

Doet nu zonder Hyper-V vm's 9 watten aan stroom verbruiken.

Komt nog 32 GB geheugen in en daarnaast voor nu een 4 tal vm's. Ik zal jullie op de hoogte houden wat het vebruik zal zijn.

Uiteindelijk zal er een andere server komen. Maar ben beetje besluiteloos en de zonnewering had voorrang dus weer even doorsparen .

Ah nice, die heeft dus 2 m.2 sloten. Ik heb zelf een G2 en deze heeft helaas maar 1 slot + 2,5" disk. Net te krap. Wil voor m'n dockers eigenlijk wel Raid 1 hebben.

[Vidar]

mrmrmr schreef op donderdag 24 maart 2022 @ 22:31:


[...]


Dat is alleen als je verschillende functies wil scheiden (voor security). Voor andere doelen, zoals zuinigheid, is het niet nodig. Het is niet makkelijk om de scheidingsfuncties te gebruiken, het is niet intuïtief.

Laat ik dat maar even zitten. Bedankt voor je adviezen en uitleg!

[Jan-man]

Ankh schreef op vrijdag 25 maart 2022 @ 08:44:
[...]

Ah nice, die heeft dus 2 m.2 sloten. Ik heb zelf een G2 en deze heeft helaas maar 1 slot + 2,5" disk. Net te krap. Wil voor m'n dockers eigenlijk wel Raid 1 hebben.

Ja klopt maar de 2.5 inch SSD ligt er nu wel los in. Om 2 nvme ssds te plaatsen moet namelijk de 2.5 inch bracket verwijderd worden.

[Joseph]

@mrmrmr Waarom geef jij wel eens aan dat Xeons stroomverbruikers zijn? Als het het bijvoorbeeld hebben over de Xeon E-2XXX series, dat is toch eigenlijk gewoon de evenknie van de 9e generatie core series? Waarom zou die meer gebruiken?

[mrmrmr]

Joseph schreef op maandag 28 maart 2022 @ 15:22:
@mrmrmr Waarom geef jij wel eens aan dat Xeons stroomverbruikers zijn? Als het het bijvoorbeeld hebben over de Xeon E-2XXX series, dat is toch eigenlijk gewoon de evenknie van de 9e generatie core series? Waarom zou die meer gebruiken?

Het gaat vooral om het idle verbruik bij thuisservers. Servers thuis doen een groot deel van de tijd niets, dus idle verbruik is maatgevend.

Coffee Lake Pentium Gold of i3-9100 (dual en quad cores) zijn in idle zuinig. Er zijn grote verschillen tussen de diverse processoren. Een processor verbruikt meer als het aantal cores stijgt. E-22xx Xeons hebben meer cores, hogere frequentie of een hogere turbo en meer cache en threads.

Het verbruik neemt toe met de werkfrequentie, en dat is exponentieel. Intel is met de PL2 ratings van bepaalde processoren (vooral high end 10th/11th gen) helemaal van het zuinige pad afgeraakt. Cache geheugen en de controller heeft ook een verbruik en dat zorgt voor een hoger idle verbruik. Processoren hebben tegenwoordig steeds meer cache geheugen.

Een hoge PL2 is niet handig in een zuinig systeem omdat het verbruik exponentieel stijgt en op een bepaald punt uit de hand loopt. Een 8 core kan al boven 200W trekken. Het vergt een stevige voeding die dat ineens kan leveren en die zijn niet zuinig bij een lage idle belasting. De processoren zelf zijn ook lang niet zo zuinig in idle. Een zware processor heeft dus consequenties voor het verbruik op verschillende vlakken.

De BIOS staat soms wel toe turbo uit te schakelen, wat ook aan te raden is voor zuinige servers met een klleine zuinige voeding. Soms is het mogelijk te sturen op het aantal Watts of stroom.

[Mr.Jingles]

Na veel lezen hier ben ik ook gestart met het bouwen van mijn zuinige server. Hij gaat m'n oude ESXI server met HomeAssistant, Xpenology veravangen.

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Core i3-9100 Boxed	€ 133,06	€ 133,06
1	Moederborden	Fujitsu D3643-H	€ 100,47	€ 100,47
2	Interne harde schijven	Seagate Barracuda Compute 2,5" (5400rpm), 5TB	€ 119,75	€ 239,50
1	Behuizingen	Inter-Tech IM-1 Pocket	€ 69,90	€ 69,90
1	Computer accessoires	Leicke ULL Power Supply 120 W	€ 33,36	€ 33,36
1	Processorkoeling	Noctua NH-L9i Bruin	€ 41,90	€ 41,90
1	Geheugen intern	Kingston HyperX Fury HX421C14FBK2/16	€ 0,-	€ 0,-
1	Voedingen	Mini-box picoPSU 90	€ 41,65	€ 41,65
1	Solid state drives	Samsung 870 QVO 1TB	€ 89,90	€ 89,90
1	Overige componenten	Mini-box PCI Bracket	€ 3,20	€ 3,20
			Totaal	€ 752,94

Nu ben ik begonnen met bouwen, maar zie ik het volgende gebeuren als ik probeer te booten. De CPU fan gaat niet spinnen, en hij boot ook niet, en enkel de Power LED knippert 4x.

Nu heb ik nog niet eerder een PicoPSU gebruikt. Maar mijn eerste gedachte is: Gaat dit wel? . De 24pin op de moederbord is maar gedeeltelijk benut door de 20pin PicoPSU 90.

[mrmrmr]

@Mr.Jingles

De extra 4 pinnen (ATX 20+4) zijn verbonden met de al bestaande, dus het is geen probleem als de stekker 20 pins is.

Begin met een zo'n kaal* mogelijk systeem voor het troubleshooten. Van belang is dat de DC stekker goed op zijn plek zit (en blijft). Een niet goed aansluitende barrel DC stekker (Leicke heeft niet zo'n strakke stekker als FSP) kan opstartproblemen veroorzaken. De overige stekkers moeten ook allemaal goed zitten. De P4 stekker moet zijn aangesloten op de P4 connector naast de processor. De aan/uit switch connector moet goed aangesloten zijn, de reset switch connector ook.

*kaal: 1x DIMM (wissel met de andere), PS/2 of USB toetsenbord, geen storage (M.2/SATA), geen USB sticks of andere USB apparaten, geen PCIe kaarten. Alleen de ATX stekker en de P4 stekker en aan/uit switch aangesloten.

Soms zijn tekeningen van aansluitingen in de handleiding verwarrend omdat ze op zijn kop staan.

Het gebeurt wel eens dat bouwers afstandsbussen (spacers/standoff) vergeten te gebruiken onder het moederbord. Dat kan kortsluiting veroorzaken waardoor het systeem niet start en defect raakt.

Een ander veel voorkomende oorzaak van niet starten zijn verbogen pinnen in de processor socket. Daarvan kun je het best een close up foto maken en nagaan of er geen pinnen verbogen zijn.

Als je DisplayPort gebruikt, probeer dan DVI/VGA of HDMI.

Probeer een ATX voeding om een probleem met de voeding uit te sluiten.

Kun je hoge resolutie foto's posten van hoe het moederbord, de aansluitingen erop, de cpu-koelingaansluiting en hoe het in de kast is bevestigd? Dan kunnen we meekijken.

[Mr.Jingles]

Probeer een ATX voeding om een probleem met de voeding uit te sluiten.

Gister een voeding op marktplaats opgehaald en getest. Daarmee wel een succesvolle boot!
De picoPSU was dus het probleem. Denk dat het een DOA is. Maar zal ook even naar de DC stekker kijken. Tnx voor de tip.

Ik merk dat de DC female van de PicoPSU net tikkie te kort is in mijn kast. Ik heb de neiging deze te verlengen, door het door te knippen en te solderen met stukje electra snoer. Hebben jullie hier ook last van?

[Rembock]

Mr.Jingles schreef op woensdag 30 maart 2022 @ 07:35:
[...]
Ik merk dat de DC female van de PicoPSU net tikkie te kort is in mijn kast. Ik heb de neiging deze te verlengen, door het door te knippen en te solderen met stukje electra snoer. Hebben jullie hier ook last van?

Yup, ik heb de female barrel plug voorzichtig losgemaakt met een soldeerbout en vervolgens er een stuk extra draad aan gesoldeerd. Alles netjes afgewerkt met wat krimpkousjes en het ziet er uit alsof hij zo uit de verpakking kwam. Zorg er wel voor dat de draden even dik zijn, ik had een oude lader als donor gebruikt

[mrmrmr]

Ik heb laatst een slecht passende (Chinese) barrel plug vervangen door een (echte) Molex Mini-Fit Jr 4-pin verlengkabel te solderen aan de voedingskabels. Dat raad ik aan als je voeding geen goede barrel plug heeft.

De PicoPSU-160-XT heeft een Mini Fit Jr receptacle die gekoppeld is aan een barrel receptacle. Door die barrel te elimineren en de koppeling tussen Mini Fir Jr te maken is het geheel bedrijfszeker.

Bespreking van barrel plugs.

@D-Three heeft dat eerder ook een Mini-Fit Jr gesoldeerd.

Een alternatief is FSP, die heeft strakke barrel plugs.

[ Voor 15% gewijzigd door mrmrmr op 30-03-2022 13:17 ]

[lazybones]

Ik heb nu een paar weken een MinisForum EliteMini HM90 barebone (AMD Ryzen ™ 9 4900H, 8 Cores/16 Threads) draaien met ESXi-7.0U3c (custom image gemaakt met de Net-Community-Driver_1.2.2.0). In die barebone zit nu een setje G.SKILL Ripjaws DDR4 in (kit van 2x 16GB, partnummer F4-3200C22D-32GRS) omdat die CL22 zijn bij 1,2V alsmede een Samsung 980 SSD (1TB NVME M2).

De 1gbit netwerk poort werkt niet (niet ondersteund, was te verwachten) maar de 2.5GB poort werkt dus wel. Of die ook sneller dan 1gbit gaat weet ik niet bij gebrek aan switch die dat ook kan.

Gemiddeld verbruik is 9-11 watt (gemeten aan het stopcontact via een Shelly PlugS. En dat is zonder enige power tweaks in BIOS of vSphere. Ik heb het systeem tot nog toe niet boven de 35W totaal weten te krijgen met flinke belasting.

[mrmrmr]

Mr.Jingles schreef op woensdag 30 maart 2022 @ 07:35:
Gister een voeding op marktplaats opgehaald en getest. Daarmee wel een succesvolle boot!
De picoPSU was dus het probleem. Denk dat het een DOA is. Maar zal ook even naar de DC stekker kijken. Tnx voor de tip.

Als er nog wel ergens een ledje gaat branden is ie niet dood. In dat geval verdenk ik de verbinding.

PicoPSU reageert anders dan een normale voeding, het aan en uitzetten verloopt anders. Er zit geen aan/uit knop op het geheel. Soms blijft hij uit na de eerste startpoging. Als de reset knop niet werkt, dan is het uithalen van de 230V stekker (of de schakelaar van het stekkerblok overhalen) de manier om te resetten.

Als de barrel stekker niet goed vast zit of contact maakt in de receptacle, en je kan solderen, dan kan ik aanraden er een Molex Mini Fit Jr aan te zetten. De verbinding is zo veel beter. Eerst controleren of de adapter de vereiste 12V levert voordat je de barrelstekker eraf knipt, dus even de spanning meten met een multimeter.

[wouter.N]

lazybones schreef op woensdag 30 maart 2022 @ 12:49:
Ik heb nu een paar weken een MinisForum EliteMini HM90 barebone (AMD Ryzen ™ 9 4900H, 8 Cores/16 Threads) draaien met ESXi-7.0U3c (custom image gemaakt met de Net-Community-Driver_1.2.2.0). In die barebone zit nu een setje G.SKILL Ripjaws DDR4 in (kit van 2x 16GB, partnummer F4-3200C22D-32GRS) omdat die CL22 zijn bij 1,2V alsmede een Samsung 980 SSD (1TB NVME M2).

De 1gbit netwerk poort werkt niet (niet ondersteund, was te verwachten) maar de 2.5GB poort werkt dus wel. Of die ook sneller dan 1gbit gaat weet ik niet bij gebrek aan switch die dat ook kan.

Gemiddeld verbruik is 9-11 watt (gemeten aan het stopcontact via een Shelly PlugS. En dat is zonder enige power tweaks in BIOS of vSphere. Ik heb het systeem tot nog toe niet boven de 35W totaal weten te krijgen met flinke belasting.

Net vebruik! Dit is wel een erg interesant optie voor mij. Ik dacht bij AMD altijd aan een veel hoger vebruikt. Normaal wordt er in dit topic eigenlijk bijna alleen maar over intel gesproken.

[lazybones]

wouter.N schreef op woensdag 30 maart 2022 @ 15:27:
[...]


Net vebruik! Dit is wel een erg interesant optie voor mij. Ik dacht bij AMD altijd aan een veel hoger vebruikt. Normaal wordt er in dit topic eigenlijk bijna alleen maar over intel gesproken.

Ik was op zoek naar een vervanger voor mijn nu 6 jaar oude whitebox vSphere server en wilde iets dat voldoende performance had en toch zuiniger was. Ik gokte gezien de gebruikte CPU er op dat deze een stuk zuiniger zou zijn dan desktop parts en ik was positief verrast. vSphere 7 werkend krijgen was even een kleine uitdaging, maar dat werkt uitermate stabiel inmiddels. En performance heeft het ding zeker. Ben benieuwd wat ik er met wat meer performance tuning uit kan halen.

[Sjorsl820]

Vidar schreef op donderdag 24 maart 2022 @ 14:44:
Op dit moment heb ik een raspberry pi met nextcloud draaien, maar ik loop daar toch tegen wat beperkingen aan. Ik zit erover te denken om de pi te vervangen door het onderstaande systeem. Daar zou ik dan nextcloud op willen draaien, misschien Home assistent en een webservertje. Dat alles met behulp van docker.

Ik vraag me nu alleen af wat voor voeding (qua vermogen) hier het beste bij zou passen en valt er iets te zeggen over het verbuik in idle? Ook voor andere adviezen sta ik open.

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Pentium Gold G7400 Boxed	€ 82,-	€ 82,-
1	Moederborden	ASRock H610M-ITX/ac	€ 129,90	€ 129,90
1	Processorkoeling	Noctua NH-L9i-17xx	€ 41,90	€ 41,90
1	Geheugen intern	Kingston ValueRAM KVR32N22D8/16 (retail)	€ 69,-	€ 69,-
1	Solid state drives	Kingston A2000 1TB	€ 99,50	€ 99,50
			Totaal	€ 422,30

Al aan het bouwen geslagen? Ik ben erg benieuwd naar het idle verbruik van de G7400.

[Coenen]

Ik vind zo'n ASRock DeskMini 310 best leuk om m'n oude SuperMicro servertje te vervangen.
Alleen hoe krijg je een 15 mm dikke 2.5" schijf erin? Ergens een stuk eruit zagen?
Heeft iemand dat gedaan en misschien een foto?

[wouter.N]

lazybones schreef op woensdag 30 maart 2022 @ 15:53:
[...]


Ik was op zoek naar een vervanger voor mijn nu 6 jaar oude whitebox vSphere server en wilde iets dat voldoende performance had en toch zuiniger was. Ik gokte gezien de gebruikte CPU er op dat deze een stuk zuiniger zou zijn dan desktop parts en ik was positief verrast. vSphere 7 werkend krijgen was even een kleine uitdaging, maar dat werkt uitermate stabiel inmiddels. En performance heeft het ding zeker. Ben benieuwd wat ik er met wat meer performance tuning uit kan halen.

Waar heb je hem besteld? Amazon?