Het grote zuinige server topic - deel 3

[andru123]

.

[ Voor 106% gewijzigd door andru123 op 14-08-2023 15:09 ]

[GoBieN-Be]

M@NIC schreef op maandag 14 augustus 2023 @ 13:16:
Zie ik nog een goed alternatief over het hoofd of is dit het inderdaad wel?

Je zou eens moeten kijken als DDR5 on die ECC goeg genoeg is.

Als je echt ECC wil op een modernere/krachtigere CPU dan moet je kijken naar AMD. Ook heb je daar meer M2 en SATA mogelijkheden.

Ik heb een krachtige 8C/16T AMD Ryzen 7 5800X server met dus 64GB ECC DDR4 RAM en met zelfs IPMI op het moederbord. Dat is absoluut niet zo zuinig als de meeste systemen hier, maar qua energie/performance/storage was dat een grote vooruitgang op mijn vorige dual Xeon systeem.
Ik draai ESXi met een 10 tal VM's (o.a. meerdere Windows Server, Xpenology met Surveillance IPCAM, Linux met ook docker, HomeAssistant, ...).
Ik heb 2x NVME en 8x SATA SSD's aangesloten op het systeem en nog een een extra USB PCIE voor Frigate. Het systeem gebruikt in normaal gebruik, met alles up & running zo'n 65W.

Ik heb de luxe dat ik stroom over heb en dat ik een krachtige server wil voor experimenten en zelfstudie. Mocht dat niet het geval zijn zou ik wellicht 2 systemen hebben, een super zuinig voor 24/7 en een krachtig om op te starten wanneer nodig.

[CurlyMo]

Even wat spiegelen en hardop nadenken wegens de SSD prijzen van nu. Ik draai nu op 3x 5TB 2.5" HDD ZFS mirror + 2x 500GB SSD ZFS mirror. Ik speel al langer met de gedachten om alles op SSD's te gaan doen.

Ik heb 6 SATA poorten tot mijn beschikking en heb van de 5TB zo'n 1.89TB vrije ruimte over. Dat levert de volgende voor mijn doel minimale configuraties op.
- 4x 4TB RAIDZ2 = ~ € 680,- voor 6.8TB
- 6x 2TB RAIDZ2 = ~ € 507,- voor 7,0TB*
- 3x 8TB mirror = ~ € 1107,- voor 7,0TB

* 5x 2TB zou ook qua ruimte genoeg zijn geweest, maar dan kan ik daar geen SSD mirror meer naast draaien.

Als ik dan de verschillende factoren naast elkaar afweeg dan is de 6x 2TB het goedkoopst en zal dat in de toekomst met het nu en dan vervangen van een SSD ook wel zo blijven.

Dan is de andere factor natuurlijk het verbruik. Dan zou dan als volgt uitpakken:
- 3x HDD + 2x SSD = 3x 1,1W + 2x 1.9W = 7,1W
- 6x SSD = 6x 3W = 18W
- 4x SSD = 4x 3,2W = 12,8W
- 3x SSD = 3x 3,3W = 9,9W

Dat valt me dan toch weer tegen. SSD's zijn in alle gevallen onzuiniger dan mijn huidige configuratie. Dat had ik niet verwacht.

Nadeel van de 6x SSD variant is dan weer dat mijn OS dan ook op de pool komt te staan en die gaat de R/W flink opvoeren. Nu staat het OS op de aparte SSD pool en zijn die SSD's aanzienlijk goedkoper om te vervangen.

Conclusie: qua kosten en verbruik is het voor mij op dit moment nog niet interessant om over te stappen. Mijn HDD's kunnen nog wel even mee. Bij een toekomstige vervangingsronde komen de SSD's er vrijwel zeker wel. Hopen dat ik dan voor max. € 500,- klaar kan zijn.

[CurlyMo]

andru123 schreef op zondag 13 augustus 2023 @ 19:01:
[...]
Ik heb de kaart in mijn Asus B660 in de enige PCIe slot (PEG) getest. Als verwacht, gaat de CPU package state niet hoger dan C2, en steeg het idle verbruik meteen van 5W naar 11W. Ik denk er niet dat van de kaart zelf, maar omdat de package niet meer naar C8 gaat.
Nog een bevestiging dat voor een zuinige server PEG slot nooit mag worden gebruikt.

Ik was van plan een PCIe netwerk kaart in te zetten als WAN zodat ik geen aparte router nodig heb. Na jouw bericht te lezen is de conclusie dat dat qua verbruik niks uitmaakt.

[RobertMe]

CurlyMo schreef op dinsdag 15 augustus 2023 @ 10:40:
Ik heb 6 SATA poorten tot mijn beschikking en heb van de 5TB zo'n 1.89TB vrije ruimte over. Dat levert de volgende voor mijn doel minimale configuraties op.
- 4x 4TB RAIDZ2 = ~ € 680,- voor 6.8TB
- 6x 2TB RAIDZ2 = ~ € 507,- voor 7,0TB*
- 3x 8TB mirror = ~ € 1107,- voor 7,0TB

Gevoelsmatig mist hier wat? 4x 4TB in raidz2 zijn effectief 2 schijven is 2x4TB = 8TB. En idem dito voor de overige dan: 6x 2TB raidz2 = 8TB en 3x 8TB mirtor is 8TB.
Waarbij ik mij ook afvraag of die dubbele redundantie (2 parity disks of 3x mirror met dus 2 als "backup"/redundant) nodig is? Als in: hoe groot is de kans dat er twee tegelijkertijd falen, zonder dat je een backup hebt die je kunt restoren.

Dan is de andere factor natuurlijk het verbruik. Dan zou dan als volgt uitpakken:
- 3x HDD + 2x SSD = 3x 1,1W + 2x 1.9W = 7,1W
- 6x SSD = 6x 3W = 18W
- 4x SSD = 4x 3,2W = 12,8W
- 3x SSD = 3x 3,3W = 9,9W

Lijkt mij dat je met een veel te hoog verbruik rekent. Het zal vast kloppen en uit de specs komen. Maar dat is het maximale verbruik, onder schrijven, dan. Terwijl een SSD normaliter veel meer idle zal zijn (meer dan een disk in spindown) waarbij het verbruik als het goed is in mW uit te drukken is. Gemiddeld zal het verbruik naar mijn idee dus veel lager liggen, tenzij de SSDs 24/7 echt actief zijn met lezen/schrijven.

Conclusie: qua kosten en verbruik is het voor mij op dit moment nog niet interessant om over te stappen. Mijn HDD's kunnen nog wel even mee. Bij een toekomstige vervangingsronde komen de SSD's er vrijwel zeker wel. Hopen dat ik dan voor max. € 500,- klaar kan zijn.

Eens. Nu voor SSDs gaan voor een nieuwe setup kan/is mogelijk. Een bestaande set vervangen lijkt ook mij meer een "omdat het kan" dan "omdat het beter / goedkoper / ..." is. * RobertMe heeft recentelijk wel een defecte 2,5" Seagate vervangen door een 4TB SSD. Ook omdat beide disks uit een mirror op korte termijn gesneuveld waren en mijn vertrouwen in Seagate nog verder gedaald was. Daarnaast ligt het offsite en op een niet ideale plek (warme meterkast) waarbij SSDs hopelijk veel minder gevoelig zijn. Daarbij dan wel ook de stap van mirror => single disk gemaakt. Daarnaast heb ik in mijn mini PCtje dat ik als server inzet ook een 4TB SSD gezet. Gedeeltelijk "omdat het kan", maar ik zou eerlijk gezegd ook niet weten of een (dikke) Seagate zou passen (en 1 die ik had was toen al overleden ).
En in mijn grote bak had ik al een SSD voor downloads (om niet de OS drive (NVME) daarmee te belasten, noch de RAIDZ1 pool op 3,5" HDDs), en het downloaden heb ik nu naar de router (zelfbouw op basis van Debian) verplaatst en ook daarbij de SSD over gezet. Persoonlijk, gedeeltelijk uit "omdat het kan", zou ik HDDs ook nog alleen kopen voor "de grote bak" puur als bulk storage die ik on-demand nodig heb (lees: systeem staat nu uit tenzij...).

[CurlyMo]

RobertMe schreef op dinsdag 15 augustus 2023 @ 11:07:
[...]

Gevoelsmatig mist hier wat? 4x 4TB in raidz2 zijn effectief 2 schijven is 2x4TB = 8TB. En idem dito voor de overige dan: 6x 2TB raidz2 = 8TB en 3x 8TB mirtor is 8TB.
Waarbij ik mij ook afvraag of die dubbele redundantie (2 parity disks of 3x mirror met dus 2 als "backup"/redundant) nodig is? Als in: hoe groot is de kans dat er twee tegelijkertijd falen, zonder dat je een backup hebt die je kunt restoren.

Tsja, ik heb mijn huidige HDD's bewust in een 3-weg mirror gezet, omdat ik niet het risico wil lopen van een HDD faal tijdens een resilver. Wellicht puur gevoel dat ik dat extrapoleer naar SSD's.

Lijkt mij dat je met een veel te hoog verbruik rekent. Het zal vast kloppen en uit de specs komen. Maar dat is het maximale verbruik, onder schrijven, dan. Terwijl een SSD normaliter veel meer idle zal zijn (meer dan een disk in spindown) waarbij het verbruik als het goed is in mW uit te drukken is. Gemiddeld zal het verbruik naar mijn idee dus veel lager liggen, tenzij de SSDs 24/7 echt actief zijn met lezen/schrijven.

Daarom ook de spiegel Moet ik wel mijn data pool en mijn OS pool scheiden. Mijn OS pool is wel veel aan het werk.

* RobertMe heeft recentelijk wel een defecte 2,5" Seagate vervangen door een 4TB SSD.

Misschien is dat t.z.t. wel een goed idee. Als er een 2.5" Seagate sneuvelt er een SSD's voor in de plaats zetten.

[HyperBart]

@CurlyMo
Er is een bepaalde stroming binnen het ZFS wereldje dat zegt dat mirrors op een bepaald punt beter/makkelijker/simpeler/performanter zijn dan een vorm van RAIDZ.

Als ik 4 x in een RAIDZ2 zie dan neig ik heel snel daar naar toe, ja je verliest de willekeurige uitval in het concept redundantie maar dat los je m.i eenvoudig op met een backup.
Soms heb ik ook dit "rechtzet" momentje nodig: redundantie doe je om snel terug volledig 100% terug online te zijn, niet om je data veilig te stellen...

Als je er zo 2 in mirror zou zetten:

#	Category	Product	Prijs	Subtotaal
2	Solid state drives	Samsung 870 QVO 8TB	€ 339,-	€ 678,-
Bekijk collectie Importeer producten			Totaal	€ 678,-

Dan ben je voor 678 EUR ook klaar.

à la limite zou je door spreiding of prijs per GB (moet je even narekenen) naar 3 x 4TB in RAIDZ1 kunnen gaan of dan zoals je zelf aangeeft die 6 x 2TB maar dat vind ik persoonlijk een te groot aantal om te kunnen rechtvaardigen dat je naar SSD's gaat.

[CurlyMo]

HyperBart schreef op dinsdag 15 augustus 2023 @ 11:27:
Soms heb ik ook dit "rechtzet" momentje nodig: redundantie doe je om snel terug volledig 100% terug online te zijn, niet om je data veilig te stellen...

Helemaal eens en bekend met dit verschil. Snel online kunnen zijn vind ik dan toch een prettig idee

Dan blijft de kwestie vooral het uitvalpercentage van SSD's om daarmee de zwaarte van de redundantie te bepalen; mirror, raidz1 of raidz2.

[ Voor 16% gewijzigd door CurlyMo op 15-08-2023 11:36 ]

[RobertMe]

CurlyMo schreef op dinsdag 15 augustus 2023 @ 11:18:
[...]

Tsja, ik heb mijn huidige HDD's bewust in een 3-weg mirror gezet, omdat ik niet het risico wil lopen van een HDD faal tijdens een resilver. Wellicht puur gevoel dat ik dat extrapoleer naar SSD's.

Is dat gevoel niet ook meer gebaseerd op dat mechanische schijven (ook) eerder falen onder zwaar gebruik? Dus nu en dan een bestandje schrijven gaat prima maar uren lang volle bak schrijven wil nog wel eens problemen geven. Waarbij er IIRC ook een dingetje was dat je met RAID5 ("hardware RAID" dus) vanaf ik meen zelfs 2TB al statistisch gezien bij elke rebuild een failure krijgt? Al is het maar door een bitflip of net een false flag op een bad sector. Waarbij die statistiek zich waarschijnlijk niet vertaald naar SSD en het bij ZFS weer helemaal anders werkt door integrated volume manager + filesystem.

[...]

Daarom ook de spiegel Moet ik wel mijn data pool en mijn OS pool scheiden. Mijn OS pool is wel veel aan het werk.

Ik verwacht dat dat wel meevalt. En die OS pool heb je nu toch ook al gescheiden? En bv OS pool die elke seconde wat schrijft betekent nog steeds dat een SSD bv een (ruime) halve seconde in deep sleep kan zijn met dus dat verbruik van in mWs. Terwijl als je daarvoor een Seagate schijfje zou gebruiken je dus wel 24/7 die 1,1W hebt.

[...]

Misschien is dat t.z.t. wel een goed idee. Als er een 2.5" Seagate sneuvelt er een SSD's voor in de plaats zetten.

Zou waarschijnlijk ook mijn voorkeur hebben. Alleen heb ik bij de "grote bak" zo nu en dan de HDDs vervangen Begonnen met 3x 8TB, na een jaar 1 vervangen door 14TB en jaar erna 1 door 18TB. Denk dat ik het daar nu bij laat, totdat... (ruimtegebrek / uitval / ...) en dan weer een grote er bij komt. Met en met vervangen dan zodat ze niet hetzelfde gebruik hebben (/"niet dezelfde kilometers op de teller"). En de shucked schijven zijn nu weer reverse-shucked , en in gebruik als backup.

HyperBart schreef op dinsdag 15 augustus 2023 @ 11:27:
@CurlyMo
Er is een bepaalde stroming binnen het ZFS wereldje dat zegt dat mirrors op een bepaald punt beter/makkelijker/simpeler/performanter zijn dan een vorm van RAIDZ.

Als ik 4 x in een RAIDZ2 zie dan neig ik heel snel daar naar toe, ja je verliest de willekeurige uitval in het concept redundantie maar dat los je m.i eenvoudig op met een backup.
Soms heb ik ook dit "rechtzet" momentje nodig: redundantie doe je om snel terug volledig 100% terug online te zijn, niet om je data veilig te stellen...

Dat zat ik dus ook al te denken, 4 disks in z2 is netto hetzelfde als een "striped mirror". Enige verschil is dan dat z2 gegarandeerd 2 failures overleefd en "striped mirror" niet als het dezelfde "stripe" in de andere "mirror" is. Maarja, zoals jij ook aangeeft, daarvoor heb je een backup en risico is relatief klein.

[HyperBart]

@CurlyMo Ja, sorry, ik weet dat je er bekend mee bent, je loopt hier lang genoeg rond maar het is eerder van: "heb ik dit nu eigenlijk wel nodig of heb ik gewoon de geruststelling nodig dat mijn data ergens een 2de kopie heeft".

En vaak bij ons "thuis storage gekkies" kom je dan uit: verdikke, ik heb eigenlijk alleen een 2de kopietje nodig en dan zeg ik "regel syncoid in en doe dagelijkse backups".

Sinds ik backup echt deftig heb ingeregeld thuis (dwz: automatisch, gemonitored, no crying wolf effect, alleen kijken als er iets is) ga ik volgende keer naar RAIDZ1. Het is nu dat ik al een VDEV had in mijn pool bestaande uit 6 x in een RAIDZ2 dat ik stuk per stuk vervangen heb, maar eigenlijk...

[ Voor 10% gewijzigd door HyperBart op 15-08-2023 11:49 ]

[HyperBart]

RobertMe schreef op dinsdag 15 augustus 2023 @ 11:40:
[...]

Is dat gevoel niet ook meer gebaseerd op dat mechanische schijven (ook) eerder falen onder zwaar gebruik? Dus nu en dan een bestandje schrijven gaat prima maar uren lang volle bak schrijven wil nog wel eens problemen geven. Waarbij er IIRC ook een dingetje was dat je met RAID5 ("hardware RAID" dus) vanaf ik meen zelfs 2TB al statistisch gezien bij elke rebuild een failure krijgt? Al is het maar door een bitflip of net een false flag op een bad sector. Waarbij die statistiek zich waarschijnlijk niet vertaald naar SSD en het bij ZFS weer helemaal anders werkt door integrated volume manager + filesystem.

Kijk daar zeg je zoiets wat ik ook nog wou toelichten.

Dat "dingetje" was voorspeld en dat kan dan voorvallen bij RAID maar ook bij ZFS. Het verschil is dat als het bij ZFS voorvalt ZFS er niet van uit gaat dat de pariteit fout is, klassieke RAID wel.

Maar die voorspelling is gewoon nooit uitgekomen. N=1 maar ik draai hier al een dikke 10 jaar ZFS en ik heb eigenlijk nooit die magische URE tegengekomen. Dat doet mij ook een stukje besluiten (icm backups) dat RAIDZ1 prima is, ook met hogere disk aantallen tot nu toe verkrijgbaar (mijn ervaring gaat nu bv tot 20TB spindles).

Voor de rest: eens, geen idee hoe dat met SSD's gaat gaan, die klappen er ook harder uit in 1 keer, althans zo zit het in mijn hoofd.

[...]

Ik verwacht dat dat wel meevalt. En die OS pool heb je nu toch ook al gescheiden? En bv OS pool die elke seconde wat schrijft betekent nog steeds dat een SSD bv een (ruime) halve seconde in deep sleep kan zijn met dus dat verbruik van in mWs. Terwijl als je daarvoor een Seagate schijfje zou gebruiken je dus wel 24/7 die 1,1W hebt.

Je hebt ook geen spindown meer en ik heb ook graag mijn OS en data gescheiden. Maakt verhuizen van de dingen of troubleshooten heel wat eenvoudiger imho.

[...]

Zou waarschijnlijk ook mijn voorkeur hebben. Alleen heb ik bij de "grote bak" zo nu en dan de HDDs vervangen Begonnen met 3x 8TB, na een jaar 1 vervangen door 14TB en jaar erna 1 door 18TB. Denk dat ik het daar nu bij laat, totdat... (ruimtegebrek / uitval / ...) en dan weer een grote er bij komt. Met en met vervangen dan zodat ze niet hetzelfde gebruik hebben (/"niet dezelfde kilometers op de teller"). En de shucked schijven zijn nu weer reverse-shucked , en in gebruik als backup.


[...]

Dat zat ik dus ook al te denken, 4 disks in z2 is netto hetzelfde als een "striped mirror". Enige verschil is dan dat z2 gegarandeerd 2 failures overleefd en "striped mirror" niet als het dezelfde "stripe" in de andere "mirror" is. Maarja, zoals jij ook aangeeft, daarvoor heb je een backup en risico is relatief klein.

[ Voor 5% gewijzigd door HyperBart op 15-08-2023 11:46 ]

[HyperBart]

CurlyMo schreef op dinsdag 15 augustus 2023 @ 11:35:
[...]
Dan blijft de kwestie vooral het uitvalpercentage van SSD's om daarmee de zwaarte van de redundantie te bepalen; mirror, raidz1 of raidz2.

Dan zou je de risico's zo hoog inschatten dat je dus verwacht dat bij een uitval van 1 er ook nog een 2de uitvalt?

Ik denk dat dat heel goed gaat meevallen als je TBW's ook nog een beetje in het oog houdt.

[RobertMe]

HyperBart schreef op dinsdag 15 augustus 2023 @ 11:43:
[...]

Kijk daar zeg je zoiets wat ik ook nog wou toelichten.

Dat "dingetje" was voorspeld en dat kan dan voorvallen bij RAID maar ook bij ZFS. Het verschil is dat als het bij ZFS voorvalt ZFS er niet van uit gaat dat de pariteit fout is, klassieke RAID wel.

Maar die voorspelling is gewoon nooit uitgekomen. N=1 maar ik draai hier al een dikke 10 jaar ZFS en ik heb eigenlijk nooit die magische URE tegengekomen. Dat doet mij ook een stukje besluiten (icm backups) dat RAIDZ1 prima is.

Dat het bij beiden kan is mij uiteraard bekend. Maar bij klassieke RAID heb je AFAIK veel eerder dat die de hele disk er uit knalt en de volledige rebuild faalt. Door de nauwe integratie in ZFS is de kans veel groter dat die wel doordraait maar je (hier en daar) een corrupt bestand hebt. Alleen een faal in de superblocks, die ook nog eens meermaals op elke disk staat als ik mij niet vergis is de volledige data weg AFAIK (maar ben absoluut geen kenner).

Voor de rest: eens, geen idee hoe dat met SSD's gaat gaan, die klappen er ook harder uit in 1 keer, althans zo zit het in mijn hoofd.

Geen idee hoe het met SSDs zit. Maar van mijn twee Seagates is de eerste echt stuk gegaan en spinde niet meer op (tweede vervangen i.v.m. bad sectors). Dus ook HDDs kunnen 100 falen. En bij SSDs heb je volgens mij ook "bad sectors" (cel(len) die beschadigd zijn en niet meer gelezen of geschreven kunnen worden). Immers doen SSDs ook wear leveling zodat de cellen allemaal om en nabij even vaak beschreven zijn (en data die nooit meer geschreven wordt dus soms verplaatsen naar cellen die veel meer beschreven zijn geweest om die te "ontlasten").

[CurlyMo]

HyperBart schreef op dinsdag 15 augustus 2023 @ 11:48:
[...]

Dan zou je de risico's zo hoog inschatten dat je dus verwacht dat bij een uitval van 1 er ook nog een 2de uitvalt?

Ik denk dat dat heel goed gaat meevallen als je TBW's ook nog een beetje in het oog houdt.

Bij mijn 2.5" Seagate 5TB's heb ik dat risico inderdaad zo ingeschat. En eerder bij mij 3.5" pools ook.

[alex3305]

Mars Warrior schreef op donderdag 10 augustus 2023 @ 14:34:
[...]

Ben benieuwd!

Ik heb nog geen definitief antwoord van Gigabyte, maar vandaag wel een (voor mij onverwachte) update:

quote: Gigabyte Support

Thank you for your answer.

We have forwarded your answer and will come back to you ASAP after figuring it out clearly.

Thanks for your patience.

Dit was nadat ik ze had uitgelegd hoe dit probleem (eenvoudig) te testen is. Daarvoor hadden ze namelijk gereageerd dat Linux in principe unsupported is en of ik het ook op Windows wilde testen. Dat laatst is nogal een crime voor mij. Dus die boot heb ik even afgehouden.

---

@happylife Top dat je voor een vergelijkbaar systeem bent gegaan. Grappig dat we beide bij dezelfde moederbord, CPU en voeding uit zijn gekomen . 13.2W is een erg mooi resultaat. Je zou mijn taskset script nog kunnen uitproberen - wel daarna even de array herstarten - om er nog een (half) wattje extra uit te slepen. Ook kwam ik erachter dat de unRAID MyServers plugin bij mij 2W pakte . Die heb ik dus uitgezet.

Ik ben wel benieuwd waar jij ongeveer 10W extra winst pakt ten opzichte van mij. Buiten de USB devices om uiteraard vind ik het verschil gewoonweg nog te groot. Dus daar ga ik vanmiddag nog eens even goed voor zitten.

Edit: Even kunnen testen zonder Docker en zonder gestarte containers. Ik kom dan ook rond de 13W uit. Wel nog met 2 externe disks aangesloten. Als ik groepjes met applicaties start schiet het verbruik richting de 15 - 17W range. Dat is totdat ik Zigbee2MQTT of Z-WaveJS start, dan schiet het direct naar 23W en komt het systeem niet meer lager. Mijn systeem lijkt dus direct naar 23W te schieten bij package C2. Ik ben heel erg benieuwd hoe jouw systeem daarmee om zal gaan @happylife.

[ Voor 14% gewijzigd door alex3305 op 15-08-2023 13:01 ]

[RobertMe]

HyperBart schreef op dinsdag 15 augustus 2023 @ 11:48:
[...]

Dan zou je de risico's zo hoog inschatten dat je dus verwacht dat bij een uitval van 1 er ook nog een 2de uitvalt?

Ik denk dat dat heel goed gaat meevallen als je TBW's ook nog een beetje in het oog houdt.

En een rebuild/resilver is uiteraard veel sneller. Dus kans op uitval tijdens de rebuild ook kleiner (losstaand van "presteren onder druk"). Als in: de kans is groter dat een SSD de komende 24 uur uitvalt dan de komende 5 minuten, puur door het verschil in tijdsspanne.

[HyperBart]

CurlyMo schreef op dinsdag 15 augustus 2023 @ 11:51:
[...]

Bij mijn 2.5" Seagate 5TB's heb ik dat risico inderdaad zo ingeschat. En eerder bij mij 3.5" pools ook.

Ik kan je ergens wel volgen maar (hout kloppen) ik heb het tot nog toe niet nodig gehad.
In de afgelopen jaren ben ik van (nu moet ik echt even gaan graven)

4 x 2TB RAIDZ1
naar
5 x 4TB RAIDZ1
naar
10 x 4TB RAIDZ2
naar
6 x 12TB RAIDZ2
naar nu today
6 x 20TB RAIDZ2

Daar tussen in heb ik heel wat in place removes gedaan in het kader van migraties en dat is altijd goed gegaan. Ik weet, ervaringen N=1 en toen had ik ook geen backup maar eigenlijk nooit echt issues mee gehad.

Daarnaast deed ik heel lang wekelijkse scrubs omdat dat een best practice was met SATA drives en MTBF statistieken maar dat heb ik ondertussen opgetrokken naar maandelijks. Met op dit moment 38.9TB in gebruik en weten dat iedere bit dus maandelijks volledig ingelezen wordt en gecontroleerd wordt ben ik er wel heel wat geruster in.

Wat ook wel helpt in gerustheid is het feit dat als je disks tekenen van falen beginnen te geven dat je dan zonder problemen er eentje langs kan zetten en dat ZFS maximaal gebruik maakt van nog beschikbare data om alles te reconstrueren. Als een SSD er volledig uit klapt dan gaat dat natuurlijk niet.

Maarreh @CurlyMo heb je eigenlijk backups ingeregeld?

[ Voor 29% gewijzigd door HyperBart op 15-08-2023 13:12 ]

[HyperBart]

RobertMe schreef op dinsdag 15 augustus 2023 @ 11:50:
[...]

Dat het bij beiden kan is mij uiteraard bekend. Maar bij klassieke RAID heb je AFAIK veel eerder dat die de hele disk er uit knalt en de volledige rebuild faalt. Door de nauwe integratie in ZFS is de kans veel groter dat die wel doordraait maar je (hier en daar) een corrupt bestand hebt. Alleen een faal in de superblocks, die ook nog eens meermaals op elke disk staat als ik mij niet vergis is de volledige data weg AFAIK (maar ben absoluut geen kenner).

In de tijd dat CiPHER hier nog rondliep is daar eens wat over gedebatteerd met @FireDrunk als ik het mij goed herinner. Ik moet @FireDrunk onder andere hier ook laten voorgaan in kennis daarover maar ik herinner me dat een disk op zoveel verschillende manieren kan falen dat het gebruik van ZFS vs RAID in de kern niks uitmaakt omdat er ook heel veel gevallen zijn waar het OS eerder zegt "jij gaat er uit" ipv dat ZFS er nog iets mee kan.

@FireDrunk , klopt het enigszins wat ik zeg?

[CurlyMo]

HyperBart schreef op dinsdag 15 augustus 2023 @ 13:04:
[...]
Maarreh @CurlyMo heb je eigenlijk backups ingeregeld?

Dagelijkse offsite backups naar twee locaties.

SSD's zouden ook de behoefte aan koeling van de opslag wegnemen. Dat is ook weer besparend.

[ Voor 21% gewijzigd door CurlyMo op 15-08-2023 13:19 ]

[andru123]

@M@NIC laatste generaties van Intel ondersteunen wel ECC : https://www.tomshardware....ecc-on-12th-gen-core-cpus Niet alle modellen, maar wel een grote aantal. Je moet alleen een MB met W chipset kopen. Allen unbuffered ECC, maar het maakt niks uit, het is alleen maar voor “goed slaap”. Verzekering tegen meteorite strike. Alleen tegen meteorite, alle andere gebeurtenissen zijn niet gedekt.
@CurlyMo Als je PEG slot gaat gebruiken, reken op +5-10W.
@alex3305 doe maar een Windows boot een keer, het is niet zo moielijk, en dan weten wij zeker of het aan HW zit.

[CurlyMo]

andru123 schreef op dinsdag 15 augustus 2023 @ 15:49:
@CurlyMo Als je PEG slot gaat gebruiken, reken op +5-10W.

Om die reden gaat de netwerk insteekkaart terug en ga ik een NanoPi R2S inzetten als router. Wordt het direct wat meer foolproof van.

[Mich]

RobertMe schreef op zondag 13 augustus 2023 @ 21:15:
[...]

Een kale Debian installatie waarbij processen met enige regelmaat er voor zorgen dat het stroomverbruik als een malle klappert? Welk proces dan? En waarom niet continu? Hij kon perfect een uur lang een laag verbruik hebben, en dan uit het niets steeks piekjes die een paar W hoger lagen, en na een tijd dan weer een flatline op het lage verbruik. En dat dus puur op een kale Debian installatie met de non-free (Intel) firmware. Dat kan echt niet aan processen/software liggen. Of in ieder geval niet iets dat ik zelf "bewust" draai. Want dat is er niet (op SSH daemon na).


[...]

Dat is natuurlijk logisch dat zo'n zaken iets van verbruik geven. Of dat nu de PVE software is of Prometheus of Influx + Telegraf etc.. Allemaal software die periodiek iets doet.


[...]

Volgens mij zijn die services al best vaak voorbij gekomen in dit topic als zijnde "kun je veilig stoppen".


[...]

Dat merk ik zelf totaal niet. Of de plug reageert te langzaam DSMRReader connect daarbij zelf over tcp/ip naar een ESPtje die de serial data één op één doorzet. Dus ik draai niet expliciet ser2net, als jij dat wel zou doen. Maar dus wel aan de meter kant iets dat AFAIK identiek is. Dus tcp/ip => virtueel serial device => DSMRReader die het virtuele serial device uitleest is niet nodig.

Ik zeg nergens dat het bij jou niet zo was. Ik geef alleen aan dat bij mij het verbruik niet stabiel laag is door de proxmox services. Desalniettemin heb ik het wel uitgeprobeerd.

Als je DSMR reader in docker draait kan je via het commando"docker stats" zien wat verbruik per seconde is.

Ik kwam er trouwens achter dat het probleem pas gaat spelen als ik mqtt aanzet.

[andru123]

CurlyMo schreef op dinsdag 15 augustus 2023 @ 15:53:
Om die reden gaat de netwerk insteekkaart terug en ga ik een NanoPi R2S inzetten als router. Wordt het direct wat meer foolproof van.

Als je geen andere PCIe slots heeft. In elke andere slot de kaart is echt zuinig. Het ligt aan de slot, niet de kaart.

[CurlyMo]

andru123 schreef op dinsdag 15 augustus 2023 @ 16:10:
[...]

Als je geen andere PCIe slots heeft. In elke andere slot de kaart is echt zuinig. Het ligt aan de slot, niet de kaart.

Het is mij dan niet helemaal duidelijk wat het verschil is tussen PEG en PCIe sloten. Fujitsu D3644-B heeft dus een 'normaal' PCIe slot?

Dan lijkt me het overigens nog steeds handiger om een aparte WAN router te hebben. Als mijn NAS het begeeft, dan ligt niet óók het internet eruit. En een aparte router kan tegenwoordig ook lekker performant én zuinig kom ik na een beetje rondneuzen achter.

[ Voor 9% gewijzigd door CurlyMo op 15-08-2023 16:17 ]

[shadylog]

Hebben jullie deze al gezien? https://www.servethehome....er-amd-ryzen-9-mini-pc/5/

De Beelink GTR7 Pro haalt hier idle 8-11 watt en is behoorlijk krachtig. Heeft een AMD Ryzen 9 7940HS en twee 2.5 gbit netwerk poorten.

[dcm360]

CurlyMo schreef op dinsdag 15 augustus 2023 @ 16:16:
[...]

Het is mij dan niet helemaal duidelijk wat het verschil is tussen PEG en PCIe sloten. Fujitsu D3644-B heeft dus een 'normaal' PCIe slot?

PEG is de afkorting voor PCI Express Graphics (slot), en wordt in de BIOS gebruikt om aan te duiden welke graphics output er gewenst is. Waarom dat op een manier ook te maken heeft met verbruik is mij niet duidelijk.

[andru123]

dcm360 schreef op dinsdag 15 augustus 2023 @ 16:25:PEG is de afkorting voor PCI Express Graphics (slot), en wordt in de BIOS gebruikt om aan te duiden welke graphics output er gewenst is. Waarom dat op een manier ook te maken heeft met verbruik is mij niet duidelijk.

dit is een bevinding van Mich dat wordt meerdere keren bevestigd. @CurlyMo

[dcm360]

andru123 schreef op dinsdag 15 augustus 2023 @ 16:39:
[...]
dit is een bevinding van Mich dat wordt meerdere keren bevestigd. @CurlyMo

Er is op zich ook wel een logische verklaring: lanes uit de chipset zijn dan blijkbaar zuiniger dan lanes uit de CPU. Afgezien van de herkomst van de lanes is een PEG slot niet normaal of speciaal.

[CurlyMo]

andru123 schreef op dinsdag 15 augustus 2023 @ 16:39:
[...]
dit is een bevinding van Mich dat wordt meerdere keren bevestigd. @CurlyMo

Dan is de vraag welk slot het PEG slot is van de Fujitsu D3644-B (als die er al is). Gezien mijn 1U case zit ik namelijk vast aan het eerste slot.

[andru123]

CurlyMo schreef op dinsdag 15 augustus 2023 @ 16:53:
Dan is de vraag welk slot het PEG slot is van de Fujitsu D3644-B (als die er al is). Gezien mijn 1U case zit ik namelijk vast aan het eerste slot.

kijk naar de 2de link voor een voorbeeld van Fujitsu bord layout van @kevi-n1
@dcm360 Intel documentatie praat alleen over PEG slot. (Bij Asus bord beide M.2 slots - CPU en chipset verbonden - zijn gelijk zuinig. Bij Kontron bord - alleen de chipset slot is zuinig.)

[alex3305]

andru123 schreef op dinsdag 15 augustus 2023 @ 15:49:
@alex3305 doe maar een Windows boot een keer, het is niet zo moielijk, en dan weten wij zeker of het aan HW zit.

Dat laat ik aan een van de andere Tweakers over .

[GioStyle]

CurlyMo schreef op dinsdag 15 augustus 2023 @ 15:53:
[...]

Om die reden gaat de netwerk insteekkaart terug en ga ik een NanoPi R2S inzetten als router. Wordt het direct wat meer foolproof van.

Mocht je de NanoPI R2S nog niet in bezit hebben en Gbit WAN/LAN poorten zijn snel genoeg, kijk dan ook naar een Ubiquiti Edgerouter X. Daar kan je OpenWRT op flashen. Is ongeveer de meest zuinige router die (bijna) Gbit kan routeren.

[andru123]

shadylog schreef op dinsdag 15 augustus 2023 @ 16:22:
Hebben jullie deze al gezien? https://www.servethehome....er-amd-ryzen-9-mini-pc/5/

De Beelink GTR7 Pro haalt hier idle 8-11 watt en is behoorlijk krachtig. Heeft een AMD Ryzen 9 7940HS en twee 2.5 gbit netwerk poorten.

AMD kruipt terug in de zuinige server space.
Opvallend dat zo’n klein adapter kan 99W leveren. Misschien een GaN.

[CurlyMo]

GioStyle schreef op dinsdag 15 augustus 2023 @ 17:19:
[...]
kijk dan ook naar een Ubiquiti Edgerouter X. Daar kan je OpenWRT op flashen. Is ongeveer de meest zuinige router die (bijna) Gbit kan routeren.

Wat is bijna? 950mbit?

Mocht je de NanoPI R2S nog niet in bezit hebben en Gbit WAN/LAN poorten zijn snel genoeg

Wat bedoel je specifiek met het laatste deel van deze zin?

[GioStyle]

CurlyMo schreef op dinsdag 15 augustus 2023 @ 17:39:
[...]

Wat is bijna? 950mbit?

Ik zit zelf tegen de 900mbit aan te hikken. Ik vind het snel zat als je dat afzet tegen het verbruik (schommelt hier tussen de 2,2 en 2,5W afhankelijk van de belasting).

Wat bedoel je specifiek met het laatste deel van deze zin?

De NanoPi R4S en Edgerouter X hebben allemaal Gbit poorten. Sommige Tweakers willen 2.5Gbit of zelfs 10Gbit poorten.

Ter informatie:

YouTube: OpenWRT - EdgeRouter X Throughput & Power Consumption (with Hardware...

[CurlyMo]

GioStyle schreef op dinsdag 15 augustus 2023 @ 17:50:
[...]


Ik zit zelf tegen de 900mbit aan te hikken. Ik vind het snel zat als je dat afzet tegen het verbruik (schommelt hier tussen de 2,2 en 2,5W afhankelijk van de belasting).

Doe je er dan ook nog dingen op zoals firewall, NAT, wireguard etc? En is dat via RJ45 of via SFP?

[GioStyle]

CurlyMo schreef op dinsdag 15 augustus 2023 @ 17:56:
[...]

Doe je er dan ook nog dingen op zoals firewall, NAT, wireguard etc? En is dat via RJ45 of via SFP?

Ik gebruik de Edgerouter X puur als router (paar firewall rules en (static) dhcp), voor de rest niets. Je kan bijvoorbeeld Wireguard of Adguard Home erop installeren (is wel een stuk ingewikkelder dan een simpel container in Docker), maar dan merk ik dat de snelheid gewoon minder wordt. De processor is een MediaTek MT7621, dus niet erg snel, maar wel vlot genoeg voor de basic taken. Wireguard/Adguard Home draaien bij mij op een andere server. Mocht mijn server om één of andere reden niet bereikbaar zijn, dan is internet nog steeds toegankelijk.

Vanwaar je vraag over RJ45 of via SFP? De Edgerouter X heeft alleen RJ45 poorten. Heb je toevallig glasvezel?

[CurlyMo]

GioStyle schreef op dinsdag 15 augustus 2023 @ 18:10:
[...]
Vanwaar je vraag over RJ45 of via SFP? De Edgerouter X heeft alleen RJ45 poorten. Heb je toevallig glasvezel?

Er is ook een SFP versie en inderdaad ik heb KPN glasvezel. Ding moet de snelheid dus ook met PPPoe halen.

[ Voor 7% gewijzigd door CurlyMo op 15-08-2023 18:15 ]

[GioStyle]

CurlyMo schreef op dinsdag 15 augustus 2023 @ 18:14:
[...]

Er is ook een SFP versie en inderdaad ik heb KPN glasvezel.

De SFP versie zou ik afraden:

The EdgeRouter X can be configured to use dual 1Gbps CPU/switch links (change not yet in OpenWRT 22.03), allowing for up to 1Gbps/1Gbps routing throughput. This is impossible on the EdgeRouter ERX-SFP, where routing will be limited by the single CPU/switch port (typically to 500/500Mbps).

https://openwrt.org/toh/ubiquiti/edgerouter_x_er-x_ka

De kans dat je glasvezel rechtstreeks in je router kan steken is ook relatief klein. KPN heeft AON of GPON netwerken. Als je AON hebt, dan zou je in feite je glasvezel rechtstreeks in je router kunnen steken door middel van een sfp module. Heb je GPON, dan is dat op dit moment alleen mogelijk als je een Fritzbox neemt.

Als je net zoals ik XGS-PON hebt, dan heb je de ONT van KPN nodig. De ONT is hier een zwart kastje dat je glasvezelsignaal (optisch) omzet in utp (elektrisch). De ONT verbruikt hier 4,4W.

[CurlyMo]

GioStyle schreef op dinsdag 15 augustus 2023 @ 18:24:
[...]
De kans dat je glasvezel rechtstreeks in je router kan steken is ook relatief klein. KPN heeft AON of GPON netwerken. Als je AON hebt, dan zou je in feite je glasvezel rechtstreeks in je router kunnen steken door middel van een sfp module.

Ik heb een AON verbinding. Eerder heb ik een Mikrotik switch met SFP gehad om direct de glasvezel op aan te sluiten.

[GioStyle]

CurlyMo schreef op dinsdag 15 augustus 2023 @ 19:00:
[...]

Ik heb een AON verbinding. Eerder heb ik een Mikrotik switch met SFP gehad om direct de glasvezel op aan te sluiten.

* GioStyle is jaloers

[ThinkPad]

De ERX SFP heb ik een aantal jaren gehad (met stock firmware), fijne stabiele router. Ik heb nu een x86 machine met OPNsense, ik vond de ERX qua GUI en booten wat traag worden (en was stiekem ook gewoon weer toe aan wat nieuwe spielerij ). Binnenkort ga ik over naar T-Mobile [phone], ik vermoed dat met QoS aan (om bufferbloat te minimaliseren zodat Teams e.d. niet gaat haperen als je flink loopt te downloaden) een ERX het niet kan bijbenen en je dus wat snellers moet hebben.

Edit: Oh, ik dacht dat we in Zelfbouw project: Firewall / Router / AP zaten

Om m'n bericht nog on-topic te laten zijn: onlangs een Dell Optiplex 5060 Micro ingezet als thuisserver. Met ESXi 8 erop en een paar lichte VM's doet hij idle zo'n 10W. ThinkPad in "Zuinige ESXi Server"

[ Voor 35% gewijzigd door ThinkPad op 15-08-2023 21:46 ]

[shadylog]

alex3305 schreef op dinsdag 15 augustus 2023 @ 11:51:
@happylife Top dat je voor een vergelijkbaar systeem bent gegaan. Grappig dat we beide bij dezelfde moederbord, CPU en voeding uit zijn gekomen . 13.2W is een erg mooi resultaat. Je zou mijn taskset script nog kunnen uitproberen - wel daarna even de array herstarten - om er nog een (half) wattje extra uit te slepen. Ook kwam ik erachter dat de unRAID MyServers plugin bij mij 2W pakte . Die heb ik dus uitgezet.

Ik ben wel benieuwd waar jij ongeveer 10W extra winst pakt ten opzichte van mij. Buiten de USB devices om uiteraard vind ik het verschil gewoonweg nog te groot. Dus daar ga ik vanmiddag nog eens even goed voor zitten.

Edit: Even kunnen testen zonder Docker en zonder gestarte containers. Ik kom dan ook rond de 13W uit. Wel nog met 2 externe disks aangesloten. Als ik groepjes met applicaties start schiet het verbruik richting de 15 - 17W range. Dat is totdat ik Zigbee2MQTT of Z-WaveJS start, dan schiet het direct naar 23W en komt het systeem niet meer lager. Mijn systeem lijkt dus direct naar 23W te schieten bij package C2. Ik ben heel erg benieuwd hoe jouw systeem daarmee om zal gaan @happylife.

Hey Alex, ik volg je posts en ben ook geinteresseerd in de i5-13500. Mede vanwege de hardware decoding en hoe laag het lijkt te schalen. Mag ik vragen of je ook hyperthreading hebt geactiveerd en hoeveel verschil dit maakt in je verbruik? Deze feature is niet zo interessant voor mijn workloads. Trouwens heeft nzbget een fork die heet nzbget-ng die wel verder in ontwikkeling gaat. Verder kan je ook proberen zonder docker door het leven te gaan door podman te gebruiken. Podman heeft geen server component en draait gewoon oci containers met ongeveer dezelfde commandline linux interface.

Gebruik je trouwens ook frigate? Heb je daarbij gekeken naar hardware offloading via intel? Ik lees daarover dat "inference time" met OpenVino acceleratie prima vergelijkbaar is met bijv coral en ben benieuwd naar je ervaringen.

Dank voor je gedetailleerde posts!

[CurlyMo]

ThinkPad schreef op dinsdag 15 augustus 2023 @ 21:42:
Edit: Oh, ik dacht dat we in Zelfbouw project: Firewall / Router / AP zaten

Je hebt gelijk. Mijn bericht daarheen verplaatst.

[alex3305]

shadylog schreef op dinsdag 15 augustus 2023 @ 21:47:
[...]

Hey Alex, ik volg je posts en ben ook geinteresseerd in de i5-13500. Mede vanwege de hardware decoding en hoe laag het lijkt te schalen.

Leuk! Ja, tot nog toe vind ik het echt een top processor. De balans tussen de E en P-cores is wat mij betreft in deze CPU echt spot on. AV1 Hardware decoding is een mooi pluspunt, maar heb ik nog geen nut voor kunnen vinden.

Mag ik vragen of je ook hyperthreading hebt geactiveerd en hoeveel verschil dit maakt in je verbruik? Deze feature is niet zo interessant voor mijn workloads.

Ik heb Hyper-Threading aan staan. Dit stond standaard aan en heb ik niet uitgezet. Eerlijk gezegd verwacht ik ook weinig verschil in verbruik met Hyper-Threading uit. Omdat ik in powertop zie dat deze cores heel vaak voor lange tijd in diepe slaap (C8) zitten. Het lijkt er ook op dat de processor deze threads pas aan gaat spreken wanneer deze nodig zijn. Of op basis van workload. Als bijvoorbeeld Plex de intensieve processen start valt mij ook op dat de HT's niet worden aangesproken. Zet ik er echter ML van Immich op, dan worden deze threads wel geactiveerd. Die laatste load schaalt erg goed op meerdere threads, dus ik verwacht dat de Intel scheduler op de achtergrond iets slims doet.

Trouwens heeft nzbget een fork die heet nzbget-ng die wel verder in ontwikkeling gaat.

Yes. Theoretisch allemaal leuk, maar zonder (ondersteunde) Docker container. Waarbij de rest van mijn stack netjes op LSio containers draait. Maar toen ik bedacht de container dan maar zelf te maken, bleek de documentatie niet te kloppen. Of incompleet te zijn.

SABnzbd draait bij mij prima en verbruikt niets wanneer deze niet download. Niet volgens powertop en niet volgens Prometheus data (laatste 6 uur):

container	max	avg
sabnzbd	0.124%	0.0544%

Deze optimalisatie lijkt dus een no-starter.

Verder kan je ook proberen zonder docker door het leven te gaan door podman te gebruiken. Podman heeft geen server component en draait gewoon oci containers met ongeveer dezelfde commandline linux interface.

Niet op unRAID. Althans niet standaard. Daarnaast denk ik dat de optimalisatie van het niet Docker gebruiken niet opweegt tegen de mogelijke uitdagingen van podman. Mijn homeserver is cruciaal voor mijn infra (DNS, Home Assistant) en dan wil ik geen tijd kwijt zijn aan dergelijke - voor mijn gevoel - synthetische uitdagingen door podman te gaan gebruiken. Ook zijn volgens mij de projecten (podman en Docker) de laatste jaren dichter bij elkaar gekomen doordat Docker onder water ook gewoon runc gebruikt. Natuurlijk wel met de Docker daemon en containerd, maar dat hoeft wat mij betreft ook geen nadeel te zijn. Maar wellicht dwaal ik daarmee teveel af van het onderwerp hier, stroom besparing .

Gebruik je trouwens ook frigate? Heb je daarbij gekeken naar hardware offloading via intel? Ik lees daarover dat "inference time" met OpenVino acceleratie prima vergelijkbaar is met bijv coral en ben benieuwd naar je ervaringen.

Nee (nog niet). ik gebruik wel QSV voor hardware offloading met transcoderen, bijvoorbeeld met Unmanic. Ik weet niet wat een Coral TPU verbruikt, maar met dergelijke operaties rapporteert Intel GPU top rond de 6W voor 1080p streams. Het lijkt niet zo bijster veel uit te maken of er dat nou 1 of 4 zijn, maar dat heb ik verder nog niet echt getest. Voor mij is zo'n taak maar tijdelijk en dan maakt het mij ook niet bijster veel uit wat het verbruik dan is.

Dank voor je gedetailleerde posts!

Graag gedaan . Wellicht niet altijd even precies zoals anderen hier, maar ik doe mijn best om mijn bevindingen te delen.

[FireDrunk]

HyperBart schreef op dinsdag 15 augustus 2023 @ 13:08:
[...]


In de tijd dat CiPHER hier nog rondliep is daar eens wat over gedebatteerd met @FireDrunk als ik het mij goed herinner. Ik moet @FireDrunk onder andere hier ook laten voorgaan in kennis daarover maar ik herinner me dat een disk op zoveel verschillende manieren kan falen dat het gebruik van ZFS vs RAID in de kern niks uitmaakt omdat er ook heel veel gevallen zijn waar het OS eerder zegt "jij gaat er uit" ipv dat ZFS er nog iets mee kan.

@FireDrunk , klopt het enigszins wat ik zeg?

Je OS canceled de IO volgens mij vrij snel (een snelle google geeft /sys/block/<device>/device/timeout). In mijn geval is dat 30s.

TLER (Time Limited Error Recovery, die functie van speciale NAS / Serve schijven) is vaak < 10s, zodat de RAID array zelf kan beslissen wat te doen, en de disk tenminste weer reageert.

De device entry zal niet snel door je OS weggehaald worden, dus niets weerhoudt ZFS ervan om de IO nogmaals te proberen naar hetzelfde device.

Wat er dus in theorie kan gebeuren, is dat ZFS een read doet naar een kapotte sector, de disk doet daar langer dan 30s over omdat de sector stuk is, en de disk hem probeert te recoveren. ZFS krijgt een IO timeout en dealt daarmee zoals het geprogrammeerd is.
Je device probeert de IO te recoveren op de achtergrond, en als dat lukt, zal deze (hoogstwaarschijnlijk) de sector opnieuw beschrijven met de data, of een reserve sector innemen met de gerecoverde data.
Als ZFS die sector bijvoorbeeld een uur later nog een keer opvraagt, krijg je de reallocated sector met de (eventueel) gerecoverde data, of een lege sector als recovery niet geslaagd is.

Of schijven bad sectors daadwerkelijk reallocated is volgens mij een beetje firmware / type / vendor afhankelijk. Sommige schijven doen het bij een write naar de kapotte sector (de data boeide dan toch niet meer, dus reallocate hij hem). Anderen doen het volgens mij zelf. Maar dat weet ik niet helemaal zeker.

[CurlyMo]

andru123 schreef op dinsdag 15 augustus 2023 @ 17:08:
[...]
kijk naar de 2de link voor een voorbeeld van Fujitsu bord layout van @kevi-n1

Dat is alleen geen plaatje van de D3644-B1. Die ziet er als volgt uit:


Jammer alleen dat hij niet ook expliciet PEG benoemd. Volgens een Duits forum is het bovenste slot het PEG slot waar ik met mijn 1U case aan vast zit:
https://forums.unraid.net...ng-der-lanes-bifurcation/

Diees Board (Fujitsu D3644-Bx) kann den oberen PCIe x16 (PEG) Slot 16x oder 8x8x oder maximal 8x x4 x4 aufteilen.

[andru123]

CurlyMo schreef op woensdag 16 augustus 2023 @ 17:26: Volgens een Duits forum is het bovenste slot het PEG slot waar ik met mijn 1U case aan vast zit:

Wat is “vast zit”? Kaartje is klein en past wel in andere slots. Je kan altijd de bracket verwijderen en dan de netwerk kabel direct aansluiten.

[RobertMe]

CurlyMo schreef op woensdag 16 augustus 2023 @ 17:26:
[...]

Dat is alleen geen plaatje van de D3644-B1. Die ziet er als volgt uit:
[Afbeelding]

Jammer alleen dat hij niet ook expliciet PEG benoemd. Volgens een Duits forum is het bovenste slot het PEG slot waar ik met mijn 1U case aan vast zit:
https://forums.unraid.net...ng-der-lanes-bifurcation/


[...]

Is het uberhaupt een PEG slot? For some reason meen ik dat PEG nieuw(ish) is en nog helemaal niet op deze generatie CPUs/chipsets/moederborden zat.

[Mastermind--]

Heeft iemand ervaring met het gebruik van een externe 3.5" drive bay (USB)?

Ik snap dat het niet ideaal is, maar ik wil op mijn mini-pc thuislab op ten duur zo'n Toshiba MG10 bij prikken.

Is er een bepaalde externe enclosure aan te bevelen die energie zuinig is?

Zijn die dingen uberhaupt energiezuinig te verkrijgen? Overhead?

95% van de tijd zal de disk in spindown staan.

Dank!

[CurlyMo]

RobertMe schreef op woensdag 16 augustus 2023 @ 18:19:
[...]

Is het uberhaupt een PEG slot? For some reason meen ik dat PEG nieuw(ish) is en nog helemaal niet op deze generatie CPUs/chipsets/moederborden zat.

Het plaatje dat @kevi-n1 deelde, met daarop expliciet de PEG poort aangeduid gaat over de D3417-B2, een moederbord uit 2017. De D3644-B komt uit 2018. Beiden hebben een socket 1151. De D3417-B2 heeft zelfs nog een oudere chipset.

[ Voor 4% gewijzigd door CurlyMo op 16-08-2023 20:35 ]

[mrmrmr]

@Mastermind-- Ik zou USB voor permanent gebruik afraden omdat het verbruik relatief hoog ligt. Je hebt namelijk de overhead van een AC/DC adapter (meestal 12V) met multiple output, de overhead van een SATA controller (en vaak ook nog een aantal andere controllers zoals USB/sd). Een oude Sharkoon Quickport Pro die ik heb vraagt 5W zonder disk aangesloten. Een Sharkoon Drivelink Combo vraagt 11W voor een MG09 18TB (max ca 21W).

Let op dat de voeding voldoende vermogen kan leveren. 2A is denk ik niet genoeg voor grote drives.

Als het enigszins mogelijk is kun je beter via SATA aansluiten en voeden via de interne voeding.

Als de drive alleen op bepaalde momenten gebruikt gaat worden, schakel hem dan uit, bij voorkeur via een stekkerblok met aan/uitknop zodat de voeding niet nutteloos aanblijft.

Bij kort gebruik maakt het niet zoveel uit hoe hoog het verbruik is. Bij altijd-aan heeft het meteen een flinke impact als het verbruik hoog is.

Als er mensen zijn die hun SATA docking station hebben gemeten (alleen adapter; adapter+docking station, plus een bepaalde 3.5" disk): dat zou het inzicht verbeteren. Ik heb geen idee welke SATA docking stations zuinig zijn.

[smeerbartje]

Hey allen, ik ben op zoek naar een nieuwe homeserver. Ben me een beetje aan het verdiepen in de componenten en kan wel wat hulp gebruiken.

Wat de server gaat doen?

• Proxmox als host OS
• Een aantal VMs (Ubuntu)
• Binnen de VMs een 6-tal docker containers. Denk hierbij aan een aantal websites, home assistant, allemaal in de category "hobby-bob".

Ik vind het belangrijk dat de server energie-zuinig is. Wat ik tot nu toe heb (geinspireerd door deze post):

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Core i3-9100 Tray	€ 117,54	€ 117,54
1	Barebones	ASRock DeskMini 310	€ 157,49	€ 157,49
1	Processorkoeling	Noctua NH-L9i Bruin	€ 44,90	€ 44,90
1	Geheugen intern	Corsair Vengeance LPX CMK32GX4M2D3600C18	€ 64,90	€ 64,90
Bekijk collectie Importeer producten			Totaal	€ 384,83

Mijn vragen zijn nu eigenlijk: is dit lijstje een beetje compleet? Passen de componenten bij elkaar? Of is het allemaal alweer wat outdated en kan ik beter voor iets anders gaan?

Tevens een concrete vraag: moet ik nu voor een M2 SSD gaan of voor een "normale" 2.5" SSD?

[Rembock]

@smeerbartje ik heb ook een 9100, maar had die via Marktplaats gehaald. Scheelt toch weer 50 60 euro

[ Voor 5% gewijzigd door Rembock op 17-08-2023 09:34 ]

[MvL]

Ik ben mij aan richten op een nieuwe server. Wat ik mij afvroeg wat het verbruik van een Ryzen 9 7900 (TDP 65W) is, en wat is dan het verbruik van een i7-13700 (Typical TDP 65 W, TDP Up 219W). Is de Intel zuiniger door zijn efficiëntie cores? Dan onder idle, en max.

[Mars Warrior]

MvL schreef op donderdag 17 augustus 2023 @ 16:31:
Ik ben mij aan richten op een nieuwe server. Wat ik mij afvroeg wat het verbruik van een Ryzen 9 7900 (TDP 65W) is, en wat is dan het verbruik van een i7-13700 (Typical TDP 65 W, TDP Up 219W). Is de Intel zuiniger door zijn efficiëntie cores? Dan onder idle, en max.

Als er voor AMD ooit echt zuinige moederborden (ITX, uATX) komen dan kunnen we pas een Ryzen en Intel echt vergelijken denk ik.

Op dit ogenblik is een Intel mobo de enige die echt zuinig is. Idle zal een 13700 niet veel verbruiken als ik naar mijn 12700K kijk (ca 3W idle met Kontron mobo).

Mijn AMD 9700X doet idle 17W, wat voornamelijk door het mobo komt...

AMD is dan onder load wel weer veel efficienter.

[FunkStar_]

Ik denk dat (ook al is het artikel 3j oud en het over de 5000 reeks gaat) nog steeds van toepassing is.

https://hattedsquirrel.ne...f-ryzen-5000-series-cpus/

[andru123]

FunkStar_ schreef op donderdag 17 augustus 2023 @ 16:51:
https://hattedsquirrel.ne...f-ryzen-5000-series-cpus/

thanks!
Hij zegt niks over meetapparaten, die zijn mogelijk niet nauwkeurig maar verder interessant.
Opvallend dat gedrag komt ongeveer overeen met P-cores van Intel - als een P-core wordt geactiveerd, er in een grote sprong in verbruik. Mars Warrior in "Het grote zuinige server topic - deel 3". Ik denk dat @mrmrmr ook heeft P-cores gedrag vergeleken met E-cores, maar kan niet die post vinden.
Of de hele package wordt energized, of de ring dat cores verbindt verbruikt zo veel, of cache geheugen.. Of mischien alle VRMs worden ingeschakeld in een active mode in plaats van maar een. Mux geeft een goede uitleg hoe VRM werkt.

[ Voor 57% gewijzigd door andru123 op 18-08-2023 02:13 ]

[smeerbartje]

Rembock schreef op donderdag 17 augustus 2023 @ 09:33:
@smeerbartje ik heb ook een 9100, maar had die via Marktplaats gehaald. Scheelt toch weer 50 60 euro

Thanks, welk moederbord / kast heb je?
En wat draai je als host OS?
Kun je iets zeggen over het stroomverbruik?

[MvL]

Mars Warrior schreef op donderdag 17 augustus 2023 @ 16:42:
[...]

Als er voor AMD ooit echt zuinige moederborden (ITX, uATX) komen dan kunnen we pas een Ryzen en Intel echt vergelijken denk ik.

Op dit ogenblik is een Intel mobo de enige die echt zuinig is. Idle zal een 13700 niet veel verbruiken als ik naar mijn 12700K kijk (ca 3W idle met Kontron mobo).

Mijn AMD 9700X doet idle 17W, wat voornamelijk door het mobo komt...

AMD is dan onder load wel weer veel efficienter.

Heel erg bedankt voor je reply. Hier kan ik wat mee. Ik ga mij eens verdiepen in Intel.

FunkStar_ schreef op donderdag 17 augustus 2023 @ 16:51:
Ik denk dat (ook al is het artikel 3j oud en het over de 5000 reeks gaat) nog steeds van toepassing is.

https://hattedsquirrel.ne...f-ryzen-5000-series-cpus/

Bedankt voor de link. Een interessant artikel!

[Rembock]

@smeerbartje Heb nu het volgende:

#	Category	Product
1	Processors	Intel Core i3-9100 Tray
1	Moederborden	Fujitsu D3643-H
1	Behuizingen	Thermaltake Core G3
1	Computer accessoires	Leicke ULL power supply 150W
1	Processorkoeling	Noctua NH-L9i Bruin
1	Geheugen intern	Crucial CT2K8G4DFS824A
1	Voedingen	Mini-box picoPSU 90
1	Solid state drives	Samsung 980 500GB

De behuizing bewust gekozen omdat deze dan in de media meubel onder m'n TV past, staat niet verkeerd naast de receiver

OS is momenteel Debian Bullseye op bare metal.

Draait nu 6,2W idle (zonder scherm, tobo, zigbee, enz.), zonder de standaard meegeleverde fans van de case zelfs 3,6W! (gemeten met een Brennenstuhl PM 231 E)
Momenteel zit ik rond de 10W met de volgende containers:

• whats up docker
• traefik
• docker socket proxy
• crowdsec
• traefik crowdsec bouncer
• authelia
• postgres
• redis
• vaultwarden
• home assistant
• mosquitto
• zigbee2mqtt
• esphome
• grocy frontend
• grocy backend

[ Voor 0% gewijzigd door Rembock op 17-08-2023 21:09 . Reden: container vergeten ]

[andru123]

@Rembock geen case fans nodig tot 15W, natuurlijk dissipatie . En zeker geen 3W fans! Fan moet zo’n 0.2-0.5W gebruiken op laag
Mooi behuizing, got pics?

[ Voor 9% gewijzigd door andru123 op 17-08-2023 22:43 ]

[happylife]

alex3305 schreef op dinsdag 15 augustus 2023 @ 11:51:

@happylife Top dat je voor een vergelijkbaar systeem bent gegaan. Grappig dat we beide bij dezelfde moederbord, CPU en voeding uit zijn gekomen . 13.2W is een erg mooi resultaat. Je zou mijn taskset script nog kunnen uitproberen - wel daarna even de array herstarten - om er nog een (half) wattje extra uit te slepen. Ook kwam ik erachter dat de unRAID MyServers plugin bij mij 2W pakte . Die heb ik dus uitgezet.

Ik ben wel benieuwd waar jij ongeveer 10W extra winst pakt ten opzichte van mij. Buiten de USB devices om uiteraard vind ik het verschil gewoonweg nog te groot. Dus daar ga ik vanmiddag nog eens even goed voor zitten.

Edit: Even kunnen testen zonder Docker en zonder gestarte containers. Ik kom dan ook rond de 13W uit. Wel nog met 2 externe disks aangesloten. Als ik groepjes met applicaties start schiet het verbruik richting de 15 - 17W range. Dat is totdat ik Zigbee2MQTT of Z-WaveJS start, dan schiet het direct naar 23W en komt het systeem niet meer lager. Mijn systeem lijkt dus direct naar 23W te schieten bij package C2. Ik ben heel erg benieuwd hoe jouw systeem daarmee om zal gaan @happylife.

Ik zal zeker even je taskset script proberen Die MyServers plugin is zeker voor Unraid Connect? Volgens mij draait die niet bij mij.

Ik ben wel benieuwd waar jij ongeveer 10W extra winst pakt ten opzichte van mij. Buiten de USB devices om uiteraard vind ik het verschil gewoonweg nog te groot. Dus daar ga ik vanmiddag nog eens even goed voor zitten.

Ik heb volgens mij wel wat minder SSD's en HDD's aangesloten, en ik heb momenteel nog single channel RAM, misschien dat dat ook iets uitmaakt?

Dat is totdat ik Zigbee2MQTT of Z-WaveJS start, dan schiet het direct naar 23W en komt het systeem niet meer lager. Mijn systeem lijkt dus direct naar 23W te schieten bij package C2. Ik ben heel erg benieuwd hoe jouw systeem daarmee om zal gaan

Ik heb nog geen tijd gehad om mijn ConbeeII stick over te zetten omdat die nog actief wordt gebruikt op mijn Raspberry Pi. Zodra ik meer info over het stroomgebruik met stick heb zal ik het hier delen, hopelijk vanmiddag.

Ik heb inmiddels wat meer containers draaien (influxdb, telegraf, grafana), verbruik is iets toegenomen maar nog steeds onder de 14 watt gemiddeld. Wanneer ik het web dashboard open schommelt het tussen de 14 en 15 watt.

[dcm360]

FunkStar_ schreef op donderdag 17 augustus 2023 @ 16:51:
Ik denk dat (ook al is het artikel 3j oud en het over de 5000 reeks gaat) nog steeds van toepassing is.

https://hattedsquirrel.ne...f-ryzen-5000-series-cpus/

Het gaat dat wel specifiek om de CPU's met chiplet-ontwerp (Vermeer), de overige CPU's en APU's (Cezanne) hebben in de tussentijd bewezen dat het wel met minder stroomverbruik kan. In de 7000-serie zitten we vooralsnog alleen met het chiplet-ontwerp Raphael, wellicht dat als of zodra Phoenix daar nog beschikbaar komt er daar voor de mensen hier leukere opties bijkomen.

[alex3305]

happylife schreef op vrijdag 18 augustus 2023 @ 10:06:
[...]

Ik zal zeker even je taskset script proberen Die MyServers plugin is zeker voor Unraid Connect? Volgens mij draait die niet bij mij.

Yes. Die plugin is voor Unraid Connect. Mja, nu is het bij mij Unraid Disconnect. Vanwege het stroomverbruik dus. Taskset plugin scheelt bij mij maximaal 2W, simpelweg omdat de P-cores niet meer belast worden door unRAID processen. 'Officieel' kan dit dus niet zonder CPU isolation. Maar dat werkte niet goed bij mij.

Ook gebruik ik de passive P-state waardoor niet alle cores opschalen bij load:

code:

echo "passive" > /sys/devices/system/cpu/intel_pstate/status

Er werd op het unRAID forum gerapporteerd dat dit nagenoeg geen verschil zou maken. Misschien is het bij mij ook (een beetje) psychisch, maar ik zie toch dat mijn processor minder vaak hard opschaalt. Deze blijft bijvoorbeeld in de 23W en 24W-range in plaats van 23 tot 26W. Heel minimaal verschil dus, maar eigenlijk gratis.

[...]

Ik heb volgens mij wel wat minder SSD's en HDD's aangesloten, en ik heb momenteel nog single channel RAM, misschien dat dat ook iets uitmaakt?

Wellicht, maar geen 10W. Daarnaast zet ik bij laagste idle test alle storage devices zoveel mogelijk in spindown of slaapstand.

Ik heb inmiddels uitgevonden dat dit simpelweg komt door de sleep state van de package van de processor. Als ik op C2 zit, kom ik (bijna ongeacht load) niet meer onder de 23W. 19W is mogelijk wanneer ik zowat alles uitzet (muv. Zigbee2MQTT of Z-Wave JS), maar dat vind ik geen realistische situatie.

[...]

Ik heb nog geen tijd gehad om mijn ConbeeII stick over te zetten omdat die nog actief wordt gebruikt op mijn Raspberry Pi. Zodra ik meer info over het stroomgebruik met stick heb zal ik het hier delen, hopelijk vanmiddag.

Dat is altijd welkom. Gebruik ook powertop om te kijken naar de CPU package state.

Ik heb inmiddels wat meer containers draaien (influxdb, telegraf, grafana), verbruik is iets toegenomen maar nog steeds onder de 14 watt gemiddeld. Wanneer ik het web dashboard open schommelt het tussen de 14 en 15 watt.

Lekker bezig . Grafana en Telegraf gebruiken niet zoveel vziw. Dat zijn ook redelijke statische applicaties. Van InfluxDB zou je de commit interval naar disk eventueel kunnen verhogen om verbruik terug te brengen. Ik heb deze op elke 60 seconden staan ipv elke 5 seconden.

[happylife]

alex3305 schreef op vrijdag 18 augustus 2023 @ 10:39:
[...]

Yes. Die plugin is voor Unraid Connect. Mja, nu is het bij mij Unraid Disconnect. Vanwege het stroomverbruik dus. Taskset plugin scheelt bij mij maximaal 2W, simpelweg omdat de P-cores niet meer belast worden door unRAID processen. 'Officieel' kan dit dus niet zonder CPU isolation. Maar dat werkte niet goed bij mij.

Ook gebruik ik de passive P-state waardoor niet alle cores opschalen bij load:

code:

echo "passive" > /sys/devices/system/cpu/intel_pstate/status

Er werd op het unRAID forum gerapporteerd dat dit nagenoeg geen verschil zou maken. Misschien is het bij mij ook (een beetje) psychisch, maar ik zie toch dat mijn processor minder vaak hard opschaalt. Deze blijft bijvoorbeeld in de 23W en 24W-range in plaats van 23 tot 26W. Heel minimaal verschil dus, maar eigenlijk gratis.


[...]

Wellicht, maar geen 10W. Daarnaast zet ik bij laagste idle test alle storage devices zoveel mogelijk in spindown of slaapstand.

Ik heb inmiddels uitgevonden dat dit simpelweg komt door de sleep state van de package van de processor. Als ik op C2 zit, kom ik (bijna ongeacht load) niet meer onder de 23W. 19W is mogelijk wanneer ik zowat alles uitzet (muv. Zigbee2MQTT of Z-Wave JS), maar dat vind ik geen realistische situatie.


[...]

Dat is altijd welkom. Gebruik ook powertop om te kijken naar de CPU package state.


[...]

Lekker bezig . Grafana en Telegraf gebruiken niet zoveel vziw. Dat zijn ook redelijke statische applicaties. Van InfluxDB zou je de commit interval naar disk eventueel kunnen verhogen om verbruik terug te brengen. Ik heb deze op elke 60 seconden staan ipv elke 5 seconden.

Ik moet nog even uitzoeken hoe het werkt met custom scripts inladen, dan kan ik hopelijk ook powertop tunables goed zetten ipv dit elke keer na een reboot handmatig te doen

Probleem wat ik eerst even wil oplossen is de 'unclean shutdown', ik heb de timeout in disk settings al op 300 seconden staan en voor docker op 30 seconden (ik gebruik geen VM's), maar toch na een reboot elke keer weer een parity check nodig (dan schiet het verbruik naar zo'n 42w). Maar goed, dat probleem is niet echt van toepassing op dit topic .

Ik ga in ieder geval vanavond die commit interval aanpassen, bedankt voor de tips!

[Rembock]

andru123 schreef op donderdag 17 augustus 2023 @ 22:41:
@Rembock geen case fans nodig tot 15W, natuurlijk dissipatie . En zeker geen 3W fans! Fan moet zo’n 0.2-0.5W gebruiken op laag
Mooi behuizing, got pics?

De case fans zijn idd overbodig, realiseer mij nu pas dat dit nog steeds dc fans zijn
Ben wel van plan er fans in te houden vanwege de half afgesloten ruimte, maar wel een paar pwm fans met max 1W verbruik zoals je terecht aangeeft.

[Mich]

Ik kwam nog wat info tegen over linux energy policy. Zag ik nog niet echt terugkomen hier.

https://manpages.debian.o...rgy_perf_policy.8.en.html
https://wiki.archlinux.or...ance_and_energy_bias_hint
https://wiki.archlinux.or...y_scaling#Setting_the_EPP

Met dit commando krijg je je EPB op maximale powersave

x86_energy_perf_policy --epb 15
of

x86_energy_perf_policy power

en met dit commando zet je de EPP in maximale powersave:

echo "power" | tee /sys/devices/system/cpu/cpu*/cpufreq/energy_performance_preference

[ Voor 3% gewijzigd door Mich op 18-08-2023 21:11 ]

[Church of Noise]

Mich schreef op vrijdag 18 augustus 2023 @ 21:11:
Ik kwam nog wat info tegen over linux energy policy. Zag ik nog niet echt terugkomen hier.

https://manpages.debian.o...rgy_perf_policy.8.en.html
https://wiki.archlinux.or...ance_and_energy_bias_hint
https://wiki.archlinux.or...y_scaling#Setting_the_EPP

Met dit commando krijg je je EPB op maximale powersave

x86_energy_perf_policy --epb 15
of

x86_energy_perf_policy power

en met dit commando zet je de EPP in maximale powersave:

echo "power" | tee /sys/devices/system/cpu/cpu*/cpufreq/energy_performance_preference

Indirect kwam het al voor😉
Dit is nl een van de zaken die je met TLP kan configureren.
zijn hier nog TLP gebruikers? Ik vind het erg handig omdat het veel config in een config bestandje toelaat...

[andru123]

Mag ik vragen (indirect) wat TLP is?

[Church of Noise]

andru123 schreef op zaterdag 19 augustus 2023 @ 01:10:
Mag ik vragen (indirect) wat TLP is?

Jazeker 😊
https://linrunner.de/tlp/

[Kaisar]

@happylife @alex3305 ook ik ben voor een gelijkaardige build gegaan de laatste 3 weken naar aanleiding van onder meer deze topic, jullie aankopen en de resultaten waar Alex naar verwees in het unRaid forum.

Echter kom ik helemaal niet in de buurt van het stroomverbruik dat jullie hebben. Hebben jullie misschien enig advies hoe ik dit beter kan troubleshooten en waar dit vandaan komt?

Gigabyte B760M Gaming X DDR4
Intel i5-13600
Samsung Evo Plus 1TB NVMe
Samsung Evo Plus 1TB NVMe
be quiet! Pure Power 12 M 550W
Fractal Design 804 (incl de 2 case fans)
Vengeance DDR-4 2x 16GB 3600-18
Noctua NH-U12S CPU Fan

Op dit moment van screenshots zit ik op 57watt met alle 4 disken spinned down (2x 10TB + 2x 4TB)

Alle docker containers actief op de NVMe pool. met uitzondering van zigbee2mqtt deze staat uit en de Zigbee coordinator is niet aangesloten.

linuxserver/nextcloud
linuxserver/swag
lscr.io/linuxserver/prowlarr
saspus/duplicacy-web
bitnami/redis:latest
postgres:14
paperlessngx/paperless-ngx
influxdb:latest
linuxserver/bazarr
linuxserver/sonarr:latest
linuxserver/radarr:latest
plexinc/pms-docker
nodered/node-red
linuxserver/mariadb
oznu/homebridge
spants/mqtt
jacobalberty/unifi:latest
pihole/pihole:latest

Ik heb de BIOS settings toegepast van https://forums.unraid.net...eiterung/#comment-1256597

Alle advies is zeker welkom!

[ Voor 17% gewijzigd door Kaisar op 23-08-2023 10:02 ]

[Mars Warrior]

@Kaisar , is jouw CPU niet gewoon druk met het initialiseren van dingen?

Oftewel: wat is je verbruik met uitgeschakelde containers?

[Kaisar]

Mars Warrior schreef op maandag 21 augustus 2023 @ 12:02:
@Kaisar , is jouw CPU niet gewoon druk met het initialiseren van dingen?

Oftewel: wat is je verbruik met uitgeschakelde containers?

Wel, ik heb nu net alle containers + docker uitstaan voor al meer dan een half uur en het huidige verbruik is 48watt.

[shadylog]

Kaisar schreef op maandag 21 augustus 2023 @ 12:18:
[...]


Wel, ik heb nu net alle containers + docker uitstaan voor al meer dan een half uur en het huidige verbruik is 48watt.

screenshot van top en powertop (C states) ?

Je hardware komt overeen met de post op duitse forum behalve de PSU, is die zuinig genoeg?

[alex3305]

@Kaisar Leuk dat je een vergelijkbaar systeem hebt aangeschaft . Maar dat is inderdaad een erg hoog verbruik. Zelfs omdat je ook gewoon package C8 haalt (dat haal ik niet eens).

Ik zie namelijk in jouw powertop screenshot dat jouw CPU constant bezig lijkt te zijn. Jij zit namelijk op 67% C3_ACPI op de CPU, terwijl ik daar eenvoudig 98%+ haal. Zoals @Mars Warrior al suggereert lijkt het erop dat jouw CPU hard bezig is. Ben je wellicht pariteit aan het berekenen? Misschien even met top of htop kijken wat jouw systeem bezig houdt. Even ter vergelijking, dit is mijn powertop (die zelf wat roet in het eten gooit omdat deze op core 0 start en daarmee ook de package C-state rapportage verpoept):



Als je de array niet start en alles (meermaals) forceert naar idle (hdparm -y /dev/sd?) zou je met jouw hardware makkelijk <20W of zelfs <15W moeten halen. Misschien is dat wel aardig om te testen, omdat je dan ook unRAID's processen en Docker (grotendeels) uitsluit.

@shadylog Ik heb dezelfde PSU en ik haal onder dezelfde omstandigheden 11W als laagste. Deze PSU scheelt naar verluid ~2W met een PicoPSU, geen 30W-40W zoals @Kaisar rapporteert.

---

Even ter vergelijking, mijn hele systeem met circa 50 containers (o.a. met HA + Zigbee + Z-Wave, *arr stack, Plex, monitoring, backups, etc.), 3 interne HDD"s, 3 interne SSD's, 1 externe HDD en 1 externe SSD gebruikt nu 32W gemiddeld over de laatste week. Met 23W-24W als standaard idle verbruik.

Kleine aanvulling op bovenstaande. Met mijn stroomgebruik ben ik nu tevreden. Het is iets meer dan ik zou willen. Het streven was namelijk 28.5W, net zoals mijn oude setup. Maar buiten de USB-bug (waar Gigabyte nog steeds mee bezig is), begint de strijd voor de laatste watt voor mij een ongezonde obsessie te worden waardoor ik niet zo goed van mijn nieuwe speelgoed (server) kan genieten. Uiteindelijk kost die 5W extra mij 'maar' 1.25€ per maand. Een bedrag waar ik normaal niet eens bij stil zou staan. Terwijl deze machine een factor 20 sneller is dan mijn oude setup.

[ Voor 21% gewijzigd door alex3305 op 21-08-2023 13:38 ]

[Kaisar]

@alex3305 enorm bedankt voor je reply. Ik had daarstraks al reeds de docker service down gebracht om te vergelijken maar dat hielp niet echt. Ik probeer nu met de array down de disken te stoppen via (hdparm -y) maar is het normaal dat deze binnen de 10 seconden weer opspinnen?

Ik zou allereerst deze test willen doen om te kijken of ik ergens een 'baseline' kan halen. Daarna kan ik eventueel trouble shooten of het hoge verbruik aan een bepaalde docker container ligt of niet.

Volgende plugins zijn geinstallerd:

• Appdata Backup
• CA Auto Update Applications
• Community Applications
• Fix Common Problems
• NerdTools
• Tips and Tweaks
• unassigned Devices
• User scripts

Hieronder screenshots van wanneer mijn array down is MAAR de disken dus wel nog spinnen.

[ Voor 13% gewijzigd door Kaisar op 21-08-2023 15:42 ]

[savale]

Iemand toevallig ervaring met de pcie lanes van de ryzen 5600g / 5700g op een b550 bord? Het plan was om 6 nvme drives in de server te hangen:
2 in het moederbord
4 via bifurcation in het 16x slot

Ik kom er alleen nu achter dat dat helemaal niet gaat lukken in verband met de limiet op pcie lanes. (20 voor de ryzen 5700g)
Ik zou het prima vinden om wat performance in te leveren: zeg maar alle nvme drives op 2 lanes in plaats van 4 lanes. Iemand hier ervaring mee?

Edit: snap het niet helemaal: zijn het er dan 20 totaal of zijn het er 20 van de cpu en 10 van de b550 chipset?

Edit 2: het b550 bord nog niet binnen, maar ik heb nu 4 nvme drives draaiend + 2 x1 pcie devices op een x370 chipset en een 5700g. Totaal dus 18 lanes?)

[ Voor 35% gewijzigd door savale op 21-08-2023 20:30 ]

[Mich]

Kaisar schreef op maandag 21 augustus 2023 @ 11:17:
@happylife @alex3305 ook ik ben voor een gelijkaardige build gegaan de laatste 3 weken naar aanleiding van onder meer deze topic, jullie aankopen en de resultaten waar Alex naar verwees in het unRaid forum.

Echter kom ik helemaal niet in de buurt van het stroomverbruik dat jullie hebben. Hebben jullie misschien enig advies hoe ik dit beter kan troubleshooten en waar dit vandaan komt?

Gigabyte B760M Gaming X DDR4
Intel i5-13600
Samsung 16GB RAM DDR4 Modul
Samsung Evo Plus 1TB NVMe
Samsung Evo Plus 1TB NVMe
be quiet! Pure Power 12 M 550W
Fractal Design 804 (incl de 2 case fans)
Vengeance DDR-4 2x 16GB 3600-18
Noctua NH-U12S CPU Fan

Op dit moment van screenshots zit ik op 57watt met alle 4 disken spinned down (2x 10TB + 2x 4TB)

Alle docker containers actief op de NVMe pool. met uitzondering van zigbee2mqtt deze staat uit en de Zigbee coordinator is niet aangesloten.

linuxserver/nextcloud
linuxserver/swag
lscr.io/linuxserver/prowlarr
saspus/duplicacy-web
bitnami/redis:latest
postgres:14
paperlessngx/paperless-ngx
influxdb:latest
linuxserver/bazarr
linuxserver/sonarr:latest
linuxserver/radarr:latest
plexinc/pms-docker
nodered/node-red
linuxserver/mariadb
oznu/homebridge
spants/mqtt
jacobalberty/unifi:latest
pihole/pihole:latest

Ik heb de BIOS settings toegepast van https://forums.unraid.net...eiterung/#comment-1256597

Alle advies is zeker welkom!

[Afbeelding]

[Afbeelding]

Draai het commando "docker stats" om te zien welke container veel CPU power vraagt.

[alex3305]

@Kaisar Kijk, daar kunnen we in ieder geval al meer zien .

Je kunt sowieso hdparm -y /dev/sd? gebruiken om alle beschikbare devices down te spinnen. Dus gewoon met vraagteken. Standaard is dit niet aan te raden omdat hdparm dit geforceerd doet, maar voor test vind ik dit altijd prima. De HDD's spinnen inderdaad standaard weer op, daarom is het bijna onbegonnen werk om het met de hand op individuele disks te doen.

Ook zou je in de UI de disks down kunnen spinnen of met het specifiek unRAID commando:

code:

for dev in /dev/sd?; do /usr/local/sbin/emcmd cmdSpindown="$(grep -zoP "(?<=name=\")[a-z0-9]+(?=\"\ndevice=\"${dev: -3})" /var/local/emhttp/disks.ini | tr -d '\0')"; done

Verder zie ik echt nu geen rare processen of load op het systeem waardoor je verbruik zo hoog zou zijn. In idle en zonder Docker applicaties zou dit echt zeker <15W moeten zijn. Ik twijfel dus toch niet of het aan de disks ligt. Je zou eventueel ook nog kunnen proberen je systeem zonder HDD's te starten. Dan kun je dat voor 100% uitsluiten.

[dcm360]

savale schreef op maandag 21 augustus 2023 @ 16:47:
Iemand toevallig ervaring met de pcie lanes van de ryzen 5600g / 5700g op een b550 bord? Het plan was om 6 nvme drives in de server te hangen:
2 in het moederbord
4 via bifurcation in het 16x slot

Ik kom er alleen nu achter dat dat helemaal niet gaat lukken in verband met de limiet op pcie lanes. (20 voor de ryzen 5700g)
Ik zou het prima vinden om wat performance in te leveren: zeg maar alle nvme drives op 2 lanes in plaats van 4 lanes. Iemand hier ervaring mee?

Edit: snap het niet helemaal: zijn het er dan 20 totaal of zijn het er 20 van de cpu en 10 van de b550 chipset?

Edit 2: het b550 bord nog niet binnen, maar ik heb nu 4 nvme drives draaiend + 2 x1 pcie devices op een x370 chipset en een 5700g. Totaal dus 18 lanes?)

De CPU heeft 20 direct bruikbare lanes, waarvan (meestal) 16 naar een PCIe-slot en 4 naar een M.2-slot gaan. Vervolgens gaan er nog 4 lanes naar de chipset, die er (in het geval van B550) als 'switch' vervolgens 10 lanes (en diverse andere I/O) van maakt. Hoeveel lanes je van de chipset zelf kan gebruiken wisselt per moederbord wel weer.

[alex3305]

@Mich docker stats is leuk voor eenmalig troubleshooten, maar dat zou ik zeer zeker niet aanraden. Het commando (vooral streaming) geeft best wel een load op systemen, en dan met name low-power systemen. Daarnaast moet je er actief bij blijven, wat ik ongewenst vind. Ik zou eerder een eenvoudige Prometheus stack aanraden. Zoals:

YAML:

---
services:
  prom:
    container_name: prometheus
    image: prom/prometheus:latest
    restart: always
    environment:
      TZ: 'Europe/Amsterdam'
    volumes:
      - /mnt/appdata/prometheus/data:/prometheus
      - /mnt/appdata/prometheus/etc:/etc/prometheus
    ports:
      - 9090:9090

  cadvisor:
    conatiner_name: cadvisor
    image: gcr.io/cadvisor/cadvisor:v0.47.2
    restart: always
    privileged: true
    command: '--docker_only=true --housekeeping_interval=30s'
    environment:
      TZ: 'Europe/Amsterdam'
    volumes:
      - /:/rootfs:ro
      - /var/run:/var/run:ro
      - /sys:/sys:ro
      - /var/lib/docker:/var/lib/docker:ro
    ports:
      - 9200:8080

  grafana:
    container_name: grafana
    image: grafana/grafana
    restart: always
    ports:
      - 3000:3000
    environment:
      GF_SERVER_ROOT_URL: https://grafana.example.com
      GF_SECURITY_ADMIN_PASSWORD: mySuperSecretPassword1
    volumes:
      - /mnt/appdata/grafana:/var/lib/grafana

Let op, dit heb ik even in elkaar gezet zonder te testen, dus er kunnen foutjes in zitten. Onder unRAID is dit bijvoorbeeld vanuit de Apps Store te installeren. Ook zijn er genoeg tutorials op internet te vinden zoals bij unRAID zelf. Het belangrijkste is echter om een getagde cAdivsor versie te gebruiken, omdat de latest jaren achterloopt.

Voor Prometheus moet je dan ook nog een config aanmaken /mnt/appdata/prometheus/etc/prometheus.yml:

YAML:

global:
  scrape_interval: 60s # By default, scrape targets every 15 seconds.

  # Attach these labels to any time series or alerts when communicating with
  # external systems (federation, remote storage, Alertmanager).
  external_labels:
    monitor: 'monitor'

# A scrape configuration containing exactly one endpoint to scrape:
# Here it's Prometheus itself.
scrape_configs:
  # The job name is added as a label `job=<job_name>` to any timeseries scraped from this config.
  - job_name: 'prometheus'
    scrape_interval: 30s
    scrape_timeout: 5s

    static_configs:
      - targets:
            # Prometheus
          - "localhost:9090"
            # Node Exporter
          - "leetower.lan:9100"
            # cAdvisor
          - "leetower.lan:9200"

Het belangrijkste hierin zijn de target, dit zijn de plekken waar monitoring van verzamelt wordt. Prometheus (server) gebruikt namelijk bronnen om vanaf te pullen ipv dat er naartoe gepusht wordt. Na een restart kun je deze bronnen ook in de Web UI van Prometheus vinden onder Status > Targets.

Door daarna in Grafana Prometheus als Data Source in te stellen (dit is muv. de url nogal een next, next, finish), kun je heel eenvoudig een dashboard toevoegen met monitoring data welke je elk moment kunt opvragen met standaard retentie van 15 dagen. Ik gebruik zelf hiervoor cAdvisor exporter en Node Exporter full. Dit geeft mij ontzettend veel inzicht in processen en systeembelasting.

Ik wil je overigens niet voor het hoofd stoten. Maar ik heb aan mijzelf gewoon gemerkt dat dit extra uurtje tijd uitzoeken en instellen mij zoveel meer inzicht heeft gebracht.

[savale]

dcm360 schreef op maandag 21 augustus 2023 @ 20:50:
[...]

De CPU heeft 20 direct bruikbare lanes, waarvan (meestal) 16 naar een PCIe-slot en 4 naar een M.2-slot gaan. Vervolgens gaan er nog 4 lanes naar de chipset, die er (in het geval van B550) als 'switch' vervolgens 10 lanes (en diverse andere I/O) van maakt. Hoeveel lanes je van de chipset zelf kan gebruiken wisselt per moederbord wel weer.

Bedankt voor de uitleg! Ik ga kijken of het duidelijk wordt in de handleiding van het b550 bord. Ik snap alleen de magie nog niet hoe de chipset van 4 cpu lanes weer 10 lanes kan maken?

[GoBieN-Be]

Multiplexing of switching of hoe je het ook wilt noemen.
Als alle I/O van de chipset toch tegelijk naar de CPU wilt, heb je natuurlijk wel die x4 bottleneck.

[happylife]

@Kaisar

Ik zie niet zo snel iets wat er tussenuit springt (qua hardware), dus ik zal even wat dingen delen die ik heb aangepast, misschien zie je daar iets tussen:

• Ik heb ook de instellingen uit dat Unraid topic overgenomen, op de devsleep instellingen na (nog niet aan toegekomen)
• ik heb de CPU fan modus op 'Silent' gezet (dat zal vast niet veel uitmaken, maar daarvoor draaide hij best hard op lage temperaturen)
• Mijn BIOS is versie F12
• powertop --auto-tune en de taskset van Alex3305 gedraaid
• Cache pool voor de Array zit op de nvme plek met heatsink
• Cache pool voor appdata zit op de nvme plek zonder heatsink
• Default spin down delay is 15 minuten
• Nu nog alleen de USB voor Unraid zelf aangesloten

[happylife]

Zojuist de conbee II stick + deconz docker gestart op de Unraid server, verbruik gaat iets omhoog maar stabiliseert daarna zo rond de 18 watt.

USB stick ingeplugd rond 10:18

[Bezulsqy]

Excuses voor de lange post, maar ik zie door de bomen het bos even niet meer…

Ik volg dit topic al enige tijd met veel interesse. Ik was van plan om zelf mijn eerste server te bouwen, maar was me een beetje rijk aan het rekenen. Ik wilde beginnen met vrij dure en nieuwe onderdelen die absoluut overkill zijn voor wat ik nodig heb.
Ik wil nu een soort van combi van nieuwe componenten met 2de hands onderdelen samenstellen. Uiteindelijk wil ik op een systeem uitkomen met 6 sata HDDs (18 - 22 tb per schijf). Dat voornamelijk dienst zal doen om mediabestanden te downloaden en uploaden. Dat betekent concreet dat er 1 schijf is die veel zal downloaden en uploaden en de rest standby (in spindown) staat tot het moment dat ik bijvoorbeeld een film wil kijken die op zo’n schijf staat. Op dit moment heb ik zo’n 50TB verdeeld over externe HDDs die ik op termijn dus wil overzetten naar dit systeem.
Maar ik start eerst eens met 1 nieuwe HDD :-)

Het verbruik zal in eerste instantie dus relatief laag zijn, maar in de toekomst dus veel meer. Ik heb ergens gelezen dat een HDD van die grootte ongeveer 5,5W in idle verbruikt. Als dat klopt heb ik over een tijd een systeem dat ergens rond de 40-60W verbruikt. Dat is natuurlijk veel te veel voor een topic als dit, maar aangezien hier veel expertise is wat betreft de kwaliteiten en efficiëntie van de verschillende onderdelen, hoop ik dat jullie mij wat raad kunnen geven over een toekomstbestendige voeding.

Via marktplaats heb ik gezien dat er regelmatig Corsair RM550x voedingen worden aangeboden. Maar bij navraag blijken dat voornamelijk oudere modellen dan het geliefde 2021 model te zijn.
Op dit forum lees ik dat de Be Quiet! voedingen ook mogelijk interessant zijn.
Aangezien een voeding nogal belangrijk is, vraag ik mij af of het wel een goed idee is om die 2de hands te kopen. Wat denken jullie?

uitvoering: be quiet! Pure Power 12 M 550W kost nu nieuw ongeveer €95

Is deze voeding wat betreft efficiëntie substantieel beter dan een 11 550W versie? Of een uitvoering: be quiet! Pure Power 11 400W die 2de hands voor ongeveer de helft van de 12M 550W te krijgen is (en nieuw voor €60)
Er is zoveel keuze en ik heb het idee dat in mijn geval het niet zo heel veel uitmaakt aangezien ik niet voor het meest zuinige systeem wil gaan. Wat is dan een paar Watt meer of minder? Voor hetzelfde geld wordt er volgend jaar een nieuwe veel zuinigere voeding uitgebracht en dan ben je een mogelijke besparing weer kwijt aan de upgrade kosten 😊 Maar goed, dat is natuurlijk ook onderdeel van het spel.

TL;DR:

Ik heb wel besloten om te investeren in dit moederbord: uitvoering: Fujitsu D3644-B
Als ik me niet vergis biedt dat plaats aan 6 HDDs. En ik wil er een 2de hands i3-9100 op installeren.
En daar zoek ik dus een goede voeding bij.

[alex3305]

@happylife Ik heb zeer vergelijkbare instellingen als jij. De DevSlp instellingen zouden niet bijzonder veel uit moeten maken vziw mits de disks in spindown zijn. Bij mij maakte de BIOS versie niets uit. Behalve nieuwe, onbegrijpbare opties.

Waar ik wel nieuwsgierig naar ben is of jij nog hoger dan Package C2 haalt na het inpluggen van de Conbee II stick?

[mrmrmr]

@Bezulsqy Het klopt dat de Fujitsu D3644-B 6x SATA biedt. De vraag is hoe je je systeem gaat draaien, met andere woorden: hoeveel Watt is het normaal idle verbruik. Als dat meer is dan 50W komen er veel meer ATX voedingen in aanmerking, dan als het 10W is. Hoog verbruik (veel overhead) bij lage belasting is waar het probleem zit bij ATX voedingen. Het verbruik zal hoog zijn als de schijven altijd aan staan en dan voldoen misschien meer ATX voedingen. Maar schijven laten draaien raad ik af, het is het beste schijven alleen te laten draaien als ze nodig zijn. Dat scheelt flink in het verbruik.

Er zijn wel kleine DC-DC voedingen die als alternatief kunnen dienen, maar ik weet van dergelijke voedingen niet of ze zuiniger zijn dan ATX voedingen. Voorbeelden zijn Ioaspow iDDDIP380A of HDPLEX 400W HiFi DC-ATX. Je moet er dan een grote adapter bij zoeken. Vaak een grote Dell adapter (een echte brick/baksteen).

Voor het serveren van bestanden op een x86 thuisserver heb je inderdaad weinig processorkracht nodig.

[dcm360]

@Bezulsqy Als je schijven in spindown laat gaan, zal het verbruik per schijf minder zijn. Het verbruik van 5,5W in idle klinkt op zich wel realistisch, maar in idle draait de schijf nog wel.

[alex3305]

@Bezulsqy De gouden standaard is de PicoPSU zoals beschreven in de topic start. Maar je haalt hier wel wat dingen door elkaar.

De Corsair is de best gemeten normale ATX voeding. De Be Quiet! Pure Power 11FM zou daar volgens (Duitse) tests zeer dicht in de buurt moeten komen. De opvolger van deze voeding is de 12M, maar hier zijn nog steeds geen goede metingen van. Buiten een aantal anecdotes (zoals die van mijzelf). De gewone Be Quiet! 11 voeding die jij aanhaalt is een compleet ander product. Daarom is deze ook een stuk goedkoper. Het is een beetje zoals een Ford Ka vergelijken met een Ford Mustang. Allebei Ford, maar compleet andere producten.

HDD's gebruiken 5.5W in idle - alhoewel dat ook zeer verschilt per HDD - maar dat is in idle. In spindown, wanneer de schijf dus niet draait gebruiken ze vele malen minder. Echter is het downspinnen van schijven 'niet goed' voor de duurzaamheid van de disk. Ik betwijfel dat persoonlijk omdat ik verwacht dat disks sowieso maar 3 tot 5 jaar mee gaan. En elk jaar extra is mooi meegenomen. Daarnaast is de kwaliteit van onderdelen de laatste jaren ook flink toegenomen waardoor dit mijn inziens geen probleem meer moet zijn.

Uiteindelijk is het een sport om zo laag mogelijk te komen, maar realistisch gezien moet je er mijns inziens ook een kosten-baten analyse op los laten. Elke 10Wh besparing levert ongeveer 30 euro per jaar op (0,010*24*365,25*0,35) met de huidige electraprijzen. Ik vind het daarom bijvoorbeeld niet waard om een moederbord te kopen die zeg 100 euro duurder is, maar 3W zuiniger. Dat verdient zichzelf simpelweg niet terug.

[ Voor 0% gewijzigd door alex3305 op 22-08-2023 12:59 . Reden: De juiste voedingnamen ]

[audiojunk]

alex3305 schreef op dinsdag 22 augustus 2023 @ 12:12:
@Bezulsqy
De Corsair is de best gemeten normale ATX voeding. De Be Quiet! Pure Power 11M zou daar volgens (Duitse) tests zeer dicht in de buurt moeten komen.

Is / was het niet de Be Quiet! Pure Power 11 FM? (ook niet meer leverbaar in de pricewatch maar zelf verleden week nog via Amazon.de besteld)

[Bezulsqy]

@mrmrmr @alex3305 @dcm360

Bedankt voor jullie reacties. Ik dacht inderdaad dat een HDD in idle vergelijkbaar was met een spindown.

@alex3305 die kosten - baten analyse is een zeer terecht punt. Ik heb het idee dat het in dit topic meer gaat over een zo laag mogelijk verbruik te realiseren, ongeacht de kosten van het te bouwen systeem. Het is dan dus gewoon de sport om zo laag mogelijk uit te komen.
Dat is iets wat ik heel goed begrijp en wat mij ook wel aantrekt. Tegelijkertijd weet ik dat ik niet voor het laagst mogelijke gebruik wil gaan.
Als ik eerlijk naar mezelf ben, dan wil ik gewoon een systeem met kwalitatief goede onderdelen die toekomst bestendig zijn. Ik wil niet voor de goedkoopste optie gaan.
Aangezien het systeem daadwerkelijk 24/7 zal draaien wil ik wel rekening houden met het verbruik. Maar 5W meer of minder is dan inderdaad bijzaak.

Ook heb ik het idee dat bij de keuze van onderdelen heel veel op basis van gevoel gaat. Eigenlijk zoals je zelf ook aangeeft wat betreft de vergelijking met een Ford Ka of Mustang. Ik denk dat voor de meeste toepassingen op server gebied zoals in dit topic wordt besproken, die Ka wel voldoende zal zijn. Maar een Mustang is wel leuker

Als ik in dit topic op Be Quiet! zoek dan zie ik veel systemen die veel verschillende van die voedingen gebruiken, En ik begrijp niet goed waarom in het ene geval iemand voor die 12 M of voor de gewone 11 zou gaan (behalve dan wat de prijs betreft).
Hetzelfde geldt ook voor moederborden. Dat Fujitsu bord wat ik graag wil kopen of het nieuwe Kontron bord waarover veel wordt gepraat, spreken erg aan. Zijn het kwalitatief de betere borden of is het puur het zo laag mogelijke verbruik aspect dat ze gewild maakt?

Ik weet dat ik 6 HDDs wil gaan aansturen. En de keuze voor mij voor een moederbord van 200 euro is dan gebasseerd op wat in dit topic wordt geschreven. Maar als er een beter bord (op wat voor manier dan ook) is, dat ook nog eens goedkoper is, hoor ik het graag. Al verbruikt dat dan 5 Watt meer.
Het is gewoon zo moeilijk om een keuze te maken voor je eerste systeem.

Daarnaast wil ik dit systeem ook gaan gebruiken om met Linux te leren werken. Ik heb wel wat basiskennis, maar wil er iets meer mee doen.

Al met al, vind ik dit een ontzettende interessant onderwerp om me in te verdiepen en ik ben lees erg graag jullie avonturen.

[happylife]

alex3305 schreef op dinsdag 22 augustus 2023 @ 11:56:
@happylife Ik heb zeer vergelijkbare instellingen als jij. De DevSlp instellingen zouden niet bijzonder veel uit moeten maken vziw mits de disks in spindown zijn. Bij mij maakte de BIOS versie niets uit. Behalve nieuwe, onbegrijpbare opties.

Waar ik wel nieuwsgierig naar ben is of jij nog hoger dan Package C2 haalt na het inpluggen van de Conbee II stick?

Qua BIOS versie ben ik direct van F1 naar F12 gegaan omdat ik in eerste instantie dacht dat mijn nieuwe harde schijven niet herkend werden (deze bleken allebei kapot te zijn). Ik weet dus helaas niet hoe mijn systeem op F1 of F11 zou draaien.

Powertop gaf nog steeds C8 aan als hoogste C-state na het inpluggen van de Conbee II stick, ik neem aan dat deze waardes auto-refreshen wanneer je powertop open laat staan? Conbee II stick is er nu weer even uit, mijn oude HA setup heeft hem nog nodig

[alex3305]

audiojunk schreef op dinsdag 22 augustus 2023 @ 12:37:
[...]


Is / was het niet de Be Quiet! Pure Power 11 FM? (ook niet meer leverbaar in de pricewatch maar zelf verleden week nog via Amazon.de besteld)

Je hebt gelijk, ik haalde de 11FM en 12M door elkaar.

[mrmrmr]

alex3305 schreef op dinsdag 22 augustus 2023 @ 12:12:
(..) maar realistisch gezien moet je er mijns inziens ook een kosten-baten analyse op los laten. Elke 10Wh besparing levert ongeveer 30 euro per jaar op (0,010*24*365,25*0,35) met de huidige electraprijzen. Ik vind het daarom bijvoorbeeld niet waard om een moederbord te kopen die zeg 100 euro duurder is, maar 3W zuiniger. Dat verdient zichzelf simpelweg niet terug.

Elke Watt meerverbruik kost € 3 per jaar (€ 0,40 per kWh), het gaat in de economische kostprijsberekening doorgaans over een gebruikstijd van 5 jaar. Dus elke Watt kost dan € 15. Om het goed te berekenen zou je er renteverlies op de investering voor 5 jaar in moeten betrekken. Het wordt dus nog iets minder.

Moederborden is niet waar de kosten zitten. De kosten zitten vooral in de hard disks in dit geval. Een D3644 moederbord met C246 chipset is sowieso een van de goedkoopste van dat type (met ECC ondersteuning). En ook de zuinigste. Een alternatief zonder ECC is een zuinig 10th gen systeem (zie gepinde posts in vorige en dit topic).

Het is wel zo dat er op een groot systeem met een idle verbruik van 50W de 3-6W (€ 45 tot € 90) winst in een moederbord waarschijnlijk niet doorslaggevend is ook al is het financieel gunstig. De meeste verbruikswinst bereik je met inrichting/configuratie (spindown).

Een Toshiba MG09 18TB verbruikt volgens opgave 4,16W als het draait en verder niets doet (active idle). Sommige grote 3.5" Seagates verbruiken enerzijds meer, maar anderzijds schakelen die ook zelf terug naar een lagere spinsnelheid waardoor het actieve idle verbruik zakt tot enkele Watts. Dus nog lager. In spindown zakt het verbruik, maar Toshiba geeft niet aan hoeveel dat is.

https://www.hardwareluxx....r-festplatte.html?start=2

[alex3305]

Bezulsqy schreef op dinsdag 22 augustus 2023 @ 12:48:
@alex3305 die kosten - baten analyse is een zeer terecht punt. Ik heb het idee dat het in dit topic meer gaat over een zo laag mogelijk verbruik te realiseren, ongeacht de kosten van het te bouwen systeem. Het is dan dus gewoon de sport om zo laag mogelijk uit te komen.

Zo laag mogelijk komen is ook het doel van dit topic. Maar ik merkte dat ik mijzelf daarin nogal eens verloor en dat de baten niet opwogen tegen de eventuele kosten. Andere denken daar uiteraard anders over .

Ook heb ik het idee dat bij de keuze van onderdelen heel veel op basis van gevoel gaat. Eigenlijk zoals je zelf ook aangeeft wat betreft de vergelijking met een Ford Ka of Mustang. Ik denk dat voor de meeste toepassingen op server gebied zoals in dit topic wordt besproken, die Ka wel voldoende zal zijn. Maar een Mustang is wel leuker

Als ik in dit topic op Be Quiet! zoek dan zie ik veel systemen die veel verschillende van die voedingen gebruiken, En ik begrijp niet goed waarom in het ene geval iemand voor die 12 M of voor de gewone 11 zou gaan (behalve dan wat de prijs betreft).

Een gewone 11 is een niet-modulaire voeding. Dat is echt een compleet ander product dan de 12M of 11FM. Met ook compleet andere, interne onderdelen. Dat bedoelde ik met mijn vergelijking tussen een Ka en Mustang. Allebei hebben ze vier wielen en een stuur, maar het is een compleet ander product.

Dat zie je bij Corsair ook terug. De RM550x is super, maar Corsair heeft meer voedingen. En die presteren compleet anders.

Hetzelfde geldt ook voor moederborden. Dat Fujitsu bord wat ik graag wil kopen of het nieuwe Kontron bord waarover veel wordt gepraat, spreken erg aan. Zijn het kwalitatief de betere borden of is het puur het zo laag mogelijke verbruik aspect dat ze gewild maakt?

De moederborden die jij aanhaalt zijn geen consumentenborden. Dat zijn moederborden voor workstations of embedded toepassingen die gemaakt zijn om 24x7 aan te staan. Daarom hebben ze ook geen toeters en bellen zoals bijvoorbeeld LED headers. Doordat er echter zo weinig componenten op zitten, zijn ze erg energiezuinig. Er zit immers niets op wat extra kan gebruiken.

Kontron is Fujitsu toch? Daar mag iemand anders mij in verbeteren als het niet zo is.

Ik weet dat ik 6 HDDs wil gaan aansturen. En de keuze voor mij voor een moederbord van 200 euro is dan gebasseerd op wat in dit topic wordt geschreven. Maar als er een beter bord (op wat voor manier dan ook) is, dat ook nog eens goedkoper is, hoor ik het graag. Al verbruikt dat dan 5 Watt meer.
Het is gewoon zo moeilijk om een keuze te maken voor je eerste systeem.

Ik zou zeggen ga in de Pricewatch wat samenstellen en kom dan ook met een build op de proppen. Dat geeft zowel jou als ons wat meer inzicht in wat je wilt. Roepen dat je moederbord X wilt is namelijk wat vaag . Daarnaast zou je dan ook een kostenvergelijk kunnen doen met een moderner (bijv. 13th gen Intel, zoals ik heb) systeem.

[Kaisar]

@happylife @alex3305 bedankt voor de reacties. Ik heb nu bij wijze van test de SATA stroom toevoer uit de PSU gehaald en gestart zonder disken. Nog steeds zit ik dan op 44watt verbruik.

Screenshot van powertop



Systeem belasting lijkt nagenoeg niets te zijn en toch nog 44wat verbruik.

Mijn CPU fan stond reeds op silent blijkbaar, ik heb ook de overige 3 case fans naar silent gebracht en lijken te draaien tegen 600RPM, volgens google is 1200RPM 0,6 - 2,3 watt.

Bios versie is eveneens F12

Zou het aansluiten van de case USB hub 2x USB3 poort een issue zijn?

Taskset heb ik gedraaid op het moment de disken niet actief waren, dit brengt me nog steeds maar tot 42watt .

[alex3305]

happylife schreef op dinsdag 22 augustus 2023 @ 12:57:
[...]

Powertop gaf nog steeds C8 aan als hoogste C-state na het inpluggen van de Conbee II stick, ik neem aan dat deze waardes auto-refreshen wanneer je powertop open laat staan? Conbee II stick is er nu weer even uit, mijn oude HA setup heeft hem nog nodig

Heel bijzonder. Als ik mijn Sonoff Dongle-P of Z-Wave.me stick gebruik is bij mij C8 niet meer mogelijk. Welke USB poort gebruik je? En geen hub of iets dergelijks? Ik heb ook nog een Conbee II liggen, misschien dat ik daar binnenkort eens een test mee ga doen dan.

[alex3305]

@Kaisar Ik zou bijna zeggen, begin met een kaal systeem. Dus alleen 1 of 2 SSD's, geheugen, CPU en CPU koeler en de rest eruit. Want het kan gewoon niet dat jij dit soort waardes haalt... In ieder geval niet met de componenten die jij noemt. Je zou eventueel ook nog even dit topic op het unRAID forum kunnen bekijken, maar aan de andere kant zijn deze waardes bijna bizar.

Zou het aansluiten van de case USB hub 2x USB3 poort een issue zijn?

Die heb ik bij mij ook gewoon aangesloten. Maar ik kan mij niet voorstellen dat een USB hub minimaal 7A trekt (35/5) , dan zou deze denk ik heel snel doorbranden .