Het grote zuinige server topic - deel 3

[Mars Warrior]

GioStyle schreef op donderdag 19 mei 2022 @ 17:50:
Uit praktijkervaring merk ik op dat de WD Blue SN550 1TB (WDS100T2B0C) toch niet heel zuinig is qua idle; ik meet 0,4W. Terwijl de PNY XLR8 CS3030 1TB wel richting de 0W gaat.

Mijn server bestaat nu uit:

- Moederbord: Odroid H2+
- Geheugen: Crucial CT16G4SFD824A (16GB)
- SSD: PNY XLR8 CS3030 1TB
- Voedingsdapter: Leicke 12V5A adapter.

Ik heb Debian 11 geïnstalleerd met root on ZFS. Qua software optimalisatie heb ik het volgende gedaan:

- "powertop --auto-tune" in een bestand gezet en als service laten draaien.
- "console=300" in GRUB.

En nog een paar optimalisaties, maar ik denk dat dat niet heeft bijgedragen aan minimaliseren van het verbruik.

Ik meet met 1 UTP kabel aangesloten: 1,5W. Gemeten met een Energy Logger 4000.

Vervolgens heb ik Docker en KVM/QEMU geïnstalleerd. Aantal Dockers laten draaien + 2 VM's, 2 UTP kabels aangesloten. Het verbruik schommelt nu tussen de 5 en 6W.

Dan heb je een aardige CPU load te pakken, toch? Dacht dat de max rond 12-14W zit namelijk…

[GioStyle]

-

[ Voor 100% gewijzigd door GioStyle op 29-10-2022 23:53 ]

[BlackRabbit]

Iemand ervaring met de Asrock rack c246 ws ( pricewatch: Asrock Rack C246 WS ) ?

Ziet er leuk bordje uit, 2x M.2 slots + heel wat SATA poorten en C246 chipset voor ECC support, 2x Gbit aansluiting.

Biedt op zich dus wat meer opties dan een D-3644-B, voor een beperkte meerprijs. Vraag me alleen af wat dit bordje betekent in meerverbruik. Iemand een idee?

[mrmrmr]

@BlackRabbit

D-Three in "Het grote zuinige server topic - deel 3"

Omdat er nog niemand dit bord gemeten in standaard configuratie (zie topicstart voor wat dat is), zonder hard disks, is het niet bekend hoe het vebruik zich verhoudt met de Fujitsu D3644-B.

Het beste is zo weinig mogelijk 3.5" drives toe te passen. Die verbruiken ergens tussen 3 en 8W per stuk als ze draaien. Daarnaast is software (besturingssysteem, virtualisatie en toepassingen) ook heel belangrijk.

De inrichting kan veel bepalender zijn dan de hardware voor het uiteindelijke verbruik binnen dezelfde klasse van systemen.

[BlackRabbit]

mrmrmr schreef op vrijdag 20 mei 2022 @ 13:59:
@BlackRabbit

D-Three in "Het grote zuinige server topic - deel 3"

Omdat er nog niemand dit bord gemeten in standaard configuratie (zie topic start voor wat dat is), zonder hard disks, is het niet bekend hoe het vebruik zich verhoudt met de Fujitsu D3644-B.

Het beste is zo weinig mogelijk 3.5" drives toe te passen. Die verbruiken ergens tussen 3 en 8W per stuk als ze draaien. Daarnaast is software (besturingssysteem, virtualisatie en toepassingen) ook heel belangrijk.

De inrichting kan veel bepalender zijn dan de hardware voor het uiteindelijke verbruik binnen dezelfde klasse van systemen.

Alright, bedankt voor de feedback!

[D-Three]

@BlackRabbit @mrmrmr
Als ik tijd heb de komende dagen wil ik dit gerust eens meten met die standaard configuratie.

[Burgerman]

Het is gelukt!
Na mijn eerdere post en hulpvraag ben ik verder gaan knutselen. Zonet gemeten dat ik tot 2 watt kom, afgaande op mijn Cresta-energiemeter. Alle USB-verbindingen zijn dan losgekoppeld en ook nog geen netwerk. Als ik toetsenbord, muis, speaker en wifi-USB-stick wel aansluit, dan kom ik tot 5 watt. Ben er blij mee!





Met setup:

• Moederbord: Fujitsu D3654-C12
• Processor: Intel Pentium G5400
• Harde schijf: NVMe SSD Samsung 970 Evo Plus 1 TB
• Geheugen: Crucial 4 GB SODIMM CT4G4SFS8266
• Voeding: Leicke NT00332 19V en 65 watt
• Arctic Passive koelblok
• Windows 11

En dat voor totaal zo'n € 150 excl. verzendkosten (alles tweedehands, behalve voeding en koelblok).
Enige probleem dat ik nog heb, is dat ik 'm niet krijg opgestart met twee geheugenreepjes tegelijk. Dat wil ik wel naar minimaal 8 GB hebben om Windows 11 soepel te laten functioneren. Zie ook mijn andere topic.

[ Voor 6% gewijzigd door Burgerman op 22-05-2022 09:51 ]

[andru123]

Geen enkele optionele ventilator, just in case? Hoe heet wordt het? Blijft de temperatuur stijgen? @Burgerman

[andru123]

Misschien beetje offtopic, uit deze processors zijn er enkel die bruikbaar voor een zuinige thuisserver/occasional light game box?
https://www.microcenter.c...oreID=151&sortBy=pricelow
Kan er eentje daar opgehaald worden, maar weet niet of het waard.

[Burgerman]

andru123 schreef op vrijdag 20 mei 2022 @ 19:36:
Geen enkele optionele ventilator, just in case? Hoe heet wordt het? Blijft de temperatuur stijgen? @Burgerman

Net even getest, een minuut of twee, maar bij een graad of 60 houdt het wel op in een CPU-burner. En omdat het niet meer doet dan als fileserver dienen, gaat die 100% belasting er in de praktijk nooit langdurig zijn.

[D-Three]

@GioStyle mooi resultaat! Ik heb ook ooit dat bordje overwogen maar het was nooit goed verkrijgbaar. Odroid beveelt echter wel een voedingsspanning tussen de 14V en de 20V aan. Is er een reden waarom je 12V hebt genomen? Maar daarmee draait het dus stabiel?

[GioStyle]

-

[ Voor 154% gewijzigd door GioStyle op 29-10-2022 23:53 ]

[mrmrmr]

Weet iemand van een verbruikstest van normaal DDR5? der8auer heeft wel een vroege test gedaan, maar dat was denk ik pre-productie, met een hoge doorvoer. We zijn geïntresseerd in JEDEC standaard timings zoals CL40 @4800 in de SPD chip omdat overclock en performance (via XMP) te veel energie vergt.

DDR5 heeft eigen PMIC aan boord, dus het wordt nu nog belangrijker dan bij DDR4 om het juiste geheugen te kiezen. Samsung heeft vorig jaar zuinige PMIC's aangekondigd. Twee daarvan zijn bedoeld voor (L)RDIMM in datacenter servers en 1 (S2FPC01) voor laptop en desktop computers.

PMIC is een power management integrated circuit. De verkrijgbaarheid van PMIC was een reden voor de schaarste aan DDR5 en de prijzen eind 2021.

RDIMM heeft 12V input en UDIMM heeft 5V input. Beide soorten hebben een 3.3V input voor management doeleinden.



Er zit ook wat telemetrie op: als je weet hoe, zou je logs kunnen uitlezen.


Bron


Bron


Bron

Toegepaste PMIC fabrikaten:
• Samsung S2FPC01 (90nm, laptops/desktops, tot 91% efficiency)

geen toepassing bekend

• Anpec APW8502C*

• G.Skill Trident Z5, met SK Hynix H5CG48MEBD X014J

• Renesas P8911*

	• Kingston Fury Beast, met SK Hynix H5CG48MEBD X014
	• Team, met Micron MT60B2G8HB-48B (D8BNJ)
	• Crucial CT2K16G48C40U5, met Micron MT60B2G8HB-48B (D8BNJ)
	• Samsung M323R2GA3BB0-CQKOD, met Samsung K4RAH086VB-BCQK B-die
	Zie ook: https://www.tomshardware....-4800-ram-alder-lake-cpus

*! Het is mij onbekend of de PMIC wel of niet zuinig is, echter aangezien het gebruikt wordt in performance DIMM's, zal het waarschijnlijk meer leveren dan volgens de standaard noodzakelijk en zou minder zuinig kunnen zijn.

Ik zal hier gegevens toevoegen wanneer die bekend worden.

UDIMM modules die mij op eerste gezicht interessant lijken:
pricewatch: Crucial CT8G48C40U5
pricewatch: Crucial CT16G48C40U5 1Rx8
pricewatch: Crucial CT32G48C40U5 2Rx8
pricewatch: Samsung 16GB DDR5-4800 CL40 (M323R2GA3BB0-CQK) 1Rx8
pricewatch: Samsung DDR5 16GB 4800 1Rx8 (M323R2GA3BB0-CQKOD) 2Rx8
pricewatch unsorted: Samsung M323R4GA3BB0-CQKOD Memory 32GB DDR5 4800 Mhz - 3... 2Rx8 32GB
SK Hynix en Micron standaard JEDEC modules zouden ook kunnen voldoen, maar van die merken is niet heel duidelijk of ze hier wel goed verkrijgbaar komen.

Details van de Samsung non-ECC UDIMM's:
Samsung M323R1GB4BB0-CQK 8GB 1Gx8 8C 1Gx64 1Rx8
Samsung M323R1GB4BB0-CQKOD 8GB 1Gx8 8C 1Gx64 1Rx8
Samsung M323R2GA3BB0-CQK 16GB 2Gx8 8C 2Gx64 1Rx8
Samsung M323R2GA3BB0-CQKOD 16GB 2Gx8 8C 2Gx64 1Rx8
Samsung M323R4GA3BB0-CQK 32GB 2Gx8 16C 4Gx64 2Rx8
Samsung M323R4GA3BB0-CQKOD 32GB 2Gx8 16C 4Gx64 2Rx8
Het cijfer na R gaat over het aantal Gx64. OD = ODECC (on-die ECC)?

Omdat elke DDR5 DIMM dual channel is in zichzelf hoef je niet te kijken naar twee DIMM's.

de8auer denkt dat meer IC's een hoger verbruik zullen hebben. Dat betekent dat single sided (SS) beter is dan double side (DS) en dat een lager aantal IC's ook zuiniger zouden zijn.

[ Voor 17% gewijzigd door mrmrmr op 26-05-2022 00:56 ]

[DeTjuk]

Al geruime tijd lees ik hier mee met wat voor mooie server builds er worden samengesteld.

Ik heb nu een relatief zuinige server draaien, maar geinspireerd door wat hier voorbij komt, ben ik aan het samenstellen geslagen en begint de zoektocht naar de gewenste componenten op zijn einde te lopen. Er zijn nog een paar vraagtekens. Hier kom ik later op terug. @mrmrmr heeft me al een geholpen met het een en ander, waarvoor dank

Hieronder de componenten die reeds zijn aangeschaft. Server zal voornamelijk download taken verzorgen en als backup fungeren. Transcoden oid is niet aan de orde. Mijn huidige setup werkt met Unraid en 8 GB geheugen. De praktijk leert dat dit meer dan genoeg is.

Ik wil in de toekomst een keuze gaan maken tussen Unraid en Openmediavault (OMV).
De laatste moet ik weer opnieuw gaan leren kennen, want het is jaren geleden dat ik daarmee iets deed.
Het idee is dat er een 'werk'ssd (1 TB) wordt geplaatst en data die voor langere tijd bewaard moet worden uiteindelijk over gaat naar de 12 TB hdd (gaat geshuckt gebruikt worden). De HDD zal dus zoveel mogelijk in idle stand moeten doorbrengen.
Daarnaast zal er of een boot USB (Unraid) of een boot ssd (nvme?)(OMV) worden gebruikt voor het starten van het OS.
Unraid bevalt me erg goed, maar ik vermoed dat het op Debian gebaseerde OMV zuiniger gaat uitpakken.
Qua geheugen kies ik voor 1 reepje (want zuiniger...), het verschil in snelheid door niet 2x4 in dual channel te gebruiken, is verwaarloosbaar als ik het goed heb begrepen.

#	Category	Product	Prijs	Subtotaal
1	Moederborden	Fujitsu D3417-B2	€ 0,-	€ 0,-
1	Processors	Intel Pentium G4600 Tray	€ 0,-	€ 0,-
1	Behuizingen	Nanoxia Deep Silence 4 (Dark Black)	€ 96,20	€ 96,20
1	Externe harde schijven	WD Elements Desktop Storage 12TB Zwart	€ 229,69	€ 229,69
1	Processorkoeling	Arctic Alpine 12 Passive	€ 11,18	€ 11,18
1	Geheugen intern	Crucial CT8G4DFS824A	€ 34,-	€ 34,-
1	Voedingen	Mini-box PicoPSU-90 + 84W (Fortron) Adapter Power Kit	€ 74,30	€ 74,30
			Totaal	€ 452,32

De vragen:

- Gaat het genoemde geheugen werken?
- Is de adapter 'zwaar' genoeg om de piek belasting van de 3,5 inch hdd op te vangen.

Voor suggesties qua keuze in SSD en NVME SSD hou ik me aanbevolen. Alvast bedankt voor het lezen als je zover bent gekomen

[mrmrmr]

DeTjuk schreef op dinsdag 24 mei 2022 @ 09:51:
De vragen:

- Gaat het genoemde geheugen werken?

Ik denk het wel.

- Is de adapter 'zwaar' genoeg om de piek belasting van de 3,5 inch hdd op te vangen.

Ja. De processor heeft een beperkt verbruik.

Voor suggesties qua keuze in SSD en NVME SSD hou ik me aanbevolen. Alvast bedankt voor het lezen als je zover bent gekomen

Ik kies zelf altijd voor Samsung EVO 840/850/860/870 SATA. Heeft altijd goed gewerkt voor mij. Borden van deze generatie zijn nog niet uitgekristalliseerd qua M.2 ondersteuning, dus niet alle M.2 SSD's worden ondersteund. Op dit bord wordt zowel M.2 SATA als NVMe ondersteund, maar ik zou geen van beide toepassen.

---

In de Linux kernel wordt een lijst bijgehouden van niet ondersteunde functies die daarom worden uitgeschakeld.

Je kan het in de broncode van libata-core.c zien voor ATA drives.

Deze heeft invloed op verbruik:

ATA_HORKAGE_NOLPM

Alle "horkage" parameters:

ATA_HORKAGE_1_5_GBPS
ATA_HORKAGE_ATAPI_DMADIR
ATA_HORKAGE_ATAPI_MOD16_DMA
ATA_HORKAGE_BRIDGE_OK
ATA_HORKAGE_BROKEN_FPDMA_AA
ATA_HORKAGE_BROKEN_HPA
ATA_HORKAGE_DIAGNOSTIC
ATA_HORKAGE_DISABLE
ATA_HORKAGE_DUMP_ID
ATA_HORKAGE_FIRMWARE_WARN
ATA_HORKAGE_HPA_SIZE
ATA_HORKAGE_IVB
ATA_HORKAGE_MAX_SEC_1024
ATA_HORKAGE_MAX_SEC_128
ATA_HORKAGE_MAX_SEC_LBA48
ATA_HORKAGE_MAX_TRIM_128M
ATA_HORKAGE_NODMA
ATA_HORKAGE_NOLPM
ATA_HORKAGE_NONCQ
ATA_HORKAGE_NOSETXFER
ATA_HORKAGE_NOTRIM
ATA_HORKAGE_NO_DMA_LOG
ATA_HORKAGE_NO_ID_DEV_LOG
ATA_HORKAGE_NO_LOG_DIR
ATA_HORKAGE_NO_NCQ_ON_ATI
ATA_HORKAGE_NO_NCQ_TRIM
ATA_HORKAGE_STUCK_ERR
ATA_HORKAGE_WD_BROKEN_LPM
ATA_HORKAGE_ZERO_AFTER_TRIM

Voor NVMe SSD's wordt zo'n lijst bijgehouden in pci.c,

Deze 2 hebben invloed op verbruik:

NVME_QUIRK_NO_APST
NVME_QUIRK_NO_DEEPEST_PS

De eerste is ernstig, de laatste niet.

Alle "quirks":

NVME_QUIRK_128_BYTES_SQES
NVME_QUIRK_BOGUS_NID
NVME_QUIRK_DEALLOCATE_ZEROES
NVME_QUIRK_DELAY_BEFORE_CHK_RDY
NVME_QUIRK_DISABLE_WRITE_ZEROES
NVME_QUIRK_DMA_ADDRESS_BITS_48
NVME_QUIRK_IDENTIFY_CNS
NVME_QUIRK_IGNORE_DEV_SUBNQN
NVME_QUIRK_MEDIUM_PRIO_SQ
NVME_QUIRK_NO_APST
NVME_QUIRK_NO_DEEPEST_PS
NVME_QUIRK_NO_NS_DESC_LIST
NVME_QUIRK_NO_TEMP_THRESH_CHANGE
NVME_QUIRK_SHARED_TAGS
NVME_QUIRK_SIMPLE_SUSPEND
NVME_QUIRK_SINGLE_VECTOR
NVME_QUIRK_SKIP_CID_GEN
NVME_QUIRK_STRIPE_SIZE

De Linux kernel source files worden natuurlijk voortdurend geupdate, dus als je dit later leest kan het al weer gewijzgd zijn. Het is sowieso verstandig van te voren te controleren of er problemen bekend zijn met low power states.

[Dietibol]

Hey,

Ik ben nieuw in het server gebeuren, hier is een eerste poging voor een systeem dat ik zou willen opzetten.

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Pentium Gold G6400 Boxed	€ 57,95	€ 57,95
1	Moederborden	Gigabyte H510M S2H V2	€ 69,90	€ 69,90
2	Interne harde schijven	Seagate Barracuda Compute 2,5" (5400rpm), 2TB	€ 62,03	€ 124,06
1	Behuizingen	Cooler Master MasterBox Q300L	€ 49,90	€ 49,90
1	Geheugen intern	Kingston KTL-TS426S8/8G	€ 57,39	€ 57,39
1	Voedingen	Mini-box PicoPSU-90 + 84W (Fortron) Adapter Power Kit	€ 79,90	€ 79,90
1	Solid state drives	Intenso Top Performance M.2 256GB	€ 24,30	€ 24,30
Bekijk collectie Importeer producten			Totaal	€ 463,40

Zijn hier eventuele suggesties rond hoe ik dit zou kunnen verbeteren?
En een belangrijkere vraag, kan ik dit systeem poweren met de gelinkte PicoPSU of ga ik best voor een krachtigere PSU, bv de Seasonic G12 GC-550 PSU.

Ik vroeg me ook af of jullie vinden dat de iets duurdere investering in ECC RAM het waard is of niet?

Alvast bedankt voor de feedback!

[mrmrmr]

@Dietibol Het gekozen geheugen is van het type Registered ECC. Dat past niet op dit moederbord.
Je hebt UDIMM geheugen nodig. De 'U' staat voor "unregistered". Het moederbord accepteert ECC of non-ECC UDIMM's. Maar: het zal de ECC functie niet gebruiken.

Dit is een UDIMM, non-ECC: pricewatch: Crucial CT8G4DFRA266

Hoewel het moederbord SATA SSD's ondersteunt, zou ik toch de voorkeur hebben voor een (Samsung) 2.5" SATA SSD, maar dat is mijn eigen keuze. Intenso is bekend als goedkoop USB stick merk. Ik weet niet of deze Intenso wel een goede en zuinige M.2 SSD is. Die informatie kon ik niet vinden. Als merk heb ik er niet veel vertrouwen in, ze produceren waarschijnlijk niet zelf maar kopen van een OEM.

De PicoPSU-90 met 84W adapter is voldoende voor 6x SATA 2.5" 4/5TB drives van Seagate of normale SSD's.

[Dietibol]

@mrmrmr Bedankt voor de info.

Ik wist inderdaad niet dat het RAM van een specifiek type moest zijn, maar als ik kijk naar de website van gigabyte zelf https://www.gigabyte.com/Motherboard/H510M-S2H-V2-rev-10#kf zie ik hier staan dat het 2 DIMM slots zijn, en niet UDIMM, klopt dit?
In het geval van DIMM zou ik misschien voor deze gaan https://tweakers.net/pric...y-beast-kf432c16bb-8.html

Als dat merk van m.2 ssd volgens jou niet te vertrouwen valt zou ik mss voor deze gaan als alternatief https://tweakers.net/pric...-ssd-256gb/specificaties/


Laatste vraagje, is de picoPSU zo veel efficienter dat het het prijsverschild waard is met een normale Gold PSU?

[IceTeaGX]

Dietibol schreef op woensdag 25 mei 2022 @ 09:56:
@mrmrmrLaatste vraagje, is de picoPSU zo veel efficienter dat het het prijsverschild waard is met een normale Gold PSU?

Het probleem met die goedkopere 80-plus (gold) voedingen is dat die een veel hoger wattage hebben.
80-plus Gold test pas vanaf 20% load. Daaronder zakt de efficiëntie enorm in.
80-Plus Titanium heeft een 10% meetpunt, maar die voedingen 1- zijn veel duurder 2- hebben nog hogere wattages, waardoor de load van een zuinige server nog steeds ver onder die 10% drempel zit, en de efficiëntie nog steeds belabberd is.
(https://www.google.com/se...efficiency+curve&tbm=isch)

Ik erger mij persoonlijk meer aan de adapters in het Pico PSU verhaal, maar er zijn weinig tot geen alternatieve voedingen met lage wattages (<100-150W) en goede efficiëntie.
Adapters zijn natuurlijk passief gekoeld, buiten de case. En ik dacht dat deze ook minder tot geen PFC deden, wat geen grote ramp is voor lage vermogens, want dit heeft ook een zekere overhead.

[mrmrmr]

@Dietibol De term UDIMM wordt meestal gebruikt om het verschil tussen RDIMM (registered) en UDIMM (unbuffered) te benadrukken. Gewone DDR4 DIMM's zijn UDIMM's. Servergeheugen kan RDIMM zijn, dat wordt bijna uitsluitend toegepast op "zware" serverborden. Lichte servers gebruiken ook UDIMM's.

De Kingston Fury Beast serie is een performance serie. Dat werkt met XMP (eXtreme Memory Profile) met een beperkt aantal standaard JEDEC geheugen timings in de SPD chip. Standaard JEDEC is het beste toepasbaar en het gunstigste voor zuinigheid. De processor werkt met 2666 MT/s (1333 MHz) geheugen, dat is doorgaans het beste. Die snelheid zit niet in de JEDEC tabel van deze Kingston. Wel heeft het geheugen XMP, maar dat draait op een hogere spanning en frequentie, en dat geeft een hoger verbruik. Het effect van geheugen met een hoge doorvoersnelheid is verwaarloosbaar voor servers. Gewoon standaard JEDEC DDR-2666 geheugen op de standaard processor snelheid is de beste keuze.

Een 80plus Gold PSU is vaak pas efficient op Gold niveau bij een tamelijk hoge belasting van minstens 20%. Stel dat je een 500W Gold voeding hebt, dan hoeft die pas meer dan 87% efficient te zijn bij een belasting van 100W. Het euvel is dat veel ATX voedingen onder ca. 25W al minder dan 80% efficient zijn tot minder dan 50% efficient onder 10W. Een PicoPSU met zuinige adapter blijft ook bij lage belasting efficient, dat geeft een fors lager verbruik.

In principe kan jouw systeem rondom 10W idle verbruiken, mits geoptimaliseerd. Dit is zo een relatief goedkoop en zuinig systeem:

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Pentium Gold G6400 Boxed	€ 57,95	€ 57,95
1	Moederborden	Gigabyte H510M S2H V2	€ 69,90	€ 69,90
2	Interne harde schijven	Seagate Barracuda Compute 2,5" (5400rpm), 2TB	€ 62,03	€ 124,06
1	Behuizingen	Cooler Master MasterBox Q300L	€ 49,90	€ 49,90
1	Geheugen intern	Crucial CT8G4DFRA266	€ 33,59	€ 33,59
1	Voedingen	Mini-box PicoPSU-90 + 84W (Fortron) Adapter Power Kit	€ 79,90	€ 79,90
1	Solid state drives	Gigabyte NVMe SSD 256GB	€ 33,90	€ 33,90
Bekijk collectie Importeer producten			Totaal	€ 449,20

Een verdere verbetering in verbruik zou kunnen zijn het vervangen van de 2 disks door 1x 2.5" disk van 4 of 5 TB. Dat is ook goedkoper. Zie de topic start voor suggesties over hoe je die drives goedkoper kan verkrijgen. Echte backup is sterk aan te raden voor data die niet verloren mag gaan.

[Jormungandr]

Ik ga ook nog eens een refresh doen in het lab. Momenteel heb ik een NAS in een Supermicro chassis die iSCSI voorziet voor mijn 2 ESX whiteboxes.

Het plan zou ook zijn om, ipv enkel als NAS te gebruiken, deze om te bouwen tot een ESX server zodat mijn andere 2 ESX servers gewoon uit kunnen wanneer ze niet nodig zijn.

Huidige setup:

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Core i3 2100 Boxed	€ 50,49	€ 50,49
1	Moederborden	Supermicro X9SCM-F	€ 0,-	€ 0,-
2	Interne harde schijven	Seagate Constellation ES.3 ST3000NM0023, 3TB	€ 234,74	€ 469,48
1	Controllers	IBM ServeRAID M1015 SAS/SATA Controller for System x	€ 84,64	€ 84,64
1	Behuizingen	Supermicro SuperChassis 846BE16-R920B	€ 2.482,17	€ 2.482,17
1	Netwerkadapters	Intel X520-DA2	€ 194,80	€ 194,80
1	Geheugen intern	MicroMemory MMH9752/8GB	€ 108,83	€ 108,83
6	Solid state drives	HGST Ultrastar SSD400M 400GB	€ 0,-	€ 0,-
Bekijk collectie Importeer producten			Totaal	€ 3.390,41

Met een verbruik van 85W avg (volgens het SM bord) niet onaardig maar wel best veel voor de huidige energieprijzen. Er zitten momenteel 3 1.1A fans in die natuurlijk heel wat verbruiken en de twee Seagate enterprise disks zijn ook geen zuinige jongens.

Het plan:
1. CPU/Mem vervangen door een Fujitsu D3644-B met i3-9100 en 32GB ram.
2. De M1015 als passthrough aan een debian VM geven en het NAS gedeelte virtueel draaien.
3. De 3TB seagates vervangen door 4 of 5TB 2.5" drives.
4. De fans vervangen door 120mm Noctua's. Met enkel SSD's en 2.5" drives moet dat doenbaar zijn. Het chassis zal nog niet de helft gevuld zijn.

Het gaat geen 10W worden, maar ik ben toch vooral benieuwd hoe laag ik geraak gezien de limieten die ik mezelf opleg met het chassis. Geen idee wat de backplane verbruikt maar het zal niet niks zijn.
Bijkomend resultaat is ook dat de andere ESX servers uit gaan staan tenzij ik tests uitvoer dus dat is al een goeie 50W minder (voor de twee samen).

[PuijkeN]

BlackRabbit schreef op vrijdag 20 mei 2022 @ 12:48:
Iemand ervaring met de Asrock rack c246 ws ( pricewatch: Asrock Rack C246 WS ) ?

Ziet er leuk bordje uit, 2x M.2 slots + heel wat SATA poorten en C246 chipset voor ECC support, 2x Gbit aansluiting.

Biedt op zich dus wat meer opties dan een D-3644-B, voor een beperkte meerprijs. Vraag me alleen af wat dit bordje betekent in meerverbruik. Iemand een idee?

Ik heb de Asus tegenhanger van dit bordje (pricewatch: ASUS WS C246M PRO). Is natuurlijk niet exact hetzelfde maar ik denk dat het wel vrij vergelijkbaar is.

Je kan hier wat info vinden van mijn testen: PuijkeN in "Het grote zuinige server topic - deel 2"

TLDR: waardes zo laag als 13.5 Watt zijn mogelijk zonder load. Gemiddelden met wat containers en daily server activiteit ligt tussen de 15.8 - 17.5 Watt.

[cyborgium]

Als het goed is ontvang ik mijn Asrock Rack C246 WS bord vandaag! Het wordt mijn truenas server, zonder containers en dergelijke. Ik zal wat tests doen en laten weten wat mijn ervaringen zijn.

[Skynett]

@Jormungandr
Heb je een backplane met SAS expanders of is het een Direct-Attached backplane?
Ik gebruik ook supermicro behuizingen, maar dan wel de direct-attached versie.
En ook zou je naar de twee of drie voedingen kunnen kijken die er in zitten. Die heb ik vervangen door een corsair SFX 450 platinum plus. Gewoon de sledes waar de voedingen er in schuiven en de verdeler er uit schroeven. Ik gebruik een 3U behuizing en de sfx voeding past er zo in. Ik heb dan wel een andere corsair bekabelingsset erbij gekocht die wat langer is en meer molex aansluitingen heeft.
Fanbeugels achter en in het midden zijn er helemaal uitgegaan en er zijn noctua's in het midden geplaatst, wel luchtdicht geplaatst zodat er geen luchtlek (kortsluiting in de luchtstroom) ontstaat.
Nu zij de kasten goed stil en ook zuinig.

[Jormungandr]

Het is een backplane met SAS expander.

Daarnet viel (heel laat) mijn frank dat ik gewoon een van de ESX servers kon overbouwen (i3-9100 en D3643) maar dat is alweer buiten de Supermicro waard gerekend. Het frontpanel zit op een specifieke connector dus ik ga maar meteen de correcte breakout cable bestellen samen met Noctua NF-F12's voor de fanwall.

Gelukkig passen de kritieke services allemaal op de overgebleven ESX. (Buiten vCenter maar dat is niet noodzakelijk).

[Skynett]

@Jormungandr
Hier nog wat foto's. Daar kan je zien hoe ik de fans geplaatst heb. Het zijn grote kasten en zonder het supermicro MB en zonder de fanrail heb je veel meer plaats voor de fans. Ik heb 4 14cm fans in een W vorm geplaatst. Zo kan je meer lucht verplaatsen. En noctua fans zijn niet geschikt om druk op te bouwen, terwijl deze behuizing (zeker in originele toestand) daar wel op gebouwd is, dus alle hulp is dan welkom als het om luchtverplaatsing gaat. Het systeem is nu verrassend stil.

Het systeem is wel iets veranderd, er zit nu geen kolink voeding meer in.

Skynett in "Het grote zuinige server topic - deel 2"

[ Voor 6% gewijzigd door Skynett op 25-05-2022 19:13 ]

[Jormungandr]

Bedankt voor de info @Skynett!!

Ik ga kijken wat de setup doet met 3x 120mm. De fanmount gaat er zowiezo uit. De NF-F12 industrial fanshebben ongeveer een derde van de static pressure van de originele fans maar die draaien eigenlijk nooit echt hard gezien er maar weinig disks in het systeem zitten. De enige reden waarom ik ze wil vervangen is verbruik aangezien ze het systeem voldoende koelen en stil genoeg zijn in lage RPM.

[cyborgium]

Ik heb nog geen uitgebreide tests gedaan, maar ik heb mijn TrueNAS build op de Asrock Rack C246 WS draaiende, en ik ben er best tevreden mee.

Specs:

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Core i3-9100 Boxed	€ 161,39	€ 161,39
1	Moederborden	Asrock Rack C246 WS	€ 303,40	€ 303,40
2	Interne harde schijven	Seagate Exos X16 SATA (Standard model), 10TB	€ 263,50	€ 527,-
5	Interne harde schijven	WD Red Plus, 4TB (64MB cache)	€ 112,99	€ 564,95
1	Netwerkadapters	Intel X520-DA2	€ 194,33	€ 194,33
1	Processorkoeling	Noctua NH-L9x65	€ 50,22	€ 50,22
4	Geheugen intern	Crucial CT16G4DFD824A	€ 66,90	€ 267,60
1	Voedingen	Corsair AX860i	€ 0,-	€ 0,-
2	Solid state drives	Crucial MX500 2,5" 1TB	€ 87,90	€ 175,80
2	Solid state drives	Crucial MX500 2,5" 500GB	€ 54,90	€ 109,80
2	Solid state drives	Intel 665p 1TB	€ 0,-	€ 0,-
1	Solid state drives	Samsung 850 EVO 250GB	€ 79,-	€ 79,-
2	Solid state drives	Samsung PM983 M.2 960GB	€ 250,47	€ 500,94
			Totaal	€ 2.934,43

Ik heb er bij lange na niet zoveel voor betaald als hierboven staat... Op de HDDs, MX500s en moederbord na, alles via ebay/marktplaats/tweakers V&A gescored, of uit oude builds gehaald.

Al met al haal ik een idle verbruik dat schommelt tussen de 55 en 60 watt:


Dat is natuurlijk lang niet zo laag als sommige builds van jullie.. maar voor wat erin zit, vind ik dat meer dan netjes. Zeker als ik bedenk dat wat ik hiervoor had, idled op 200 watt...

De PSU is alles behalve efficient, en dat is iets wat ik dus ook zeker op korte termijn wil vervangen. Deze had ik nog liggen, vandaar dat deze voor nu gebruikt wordt.
Ditzelfde geld voor de X520-DA2. Ik gebruik maar 1 van de poorten, en daarnaast is deze ook alles behalve zuinig. Door de PCIe 2.0 interface ben ik ook verplicht deze te laten lopen via de PCH ipv de CPU.

Al met al niet ontevreden!

[ Voor 0% gewijzigd door cyborgium op 27-05-2022 12:53 . Reden: Typo ]

[Mars Warrior]

@cyborgium . Van 200W idle naar 60W idle is al een flinke besparing ja.

Met dit bordje kun je kaal rond de 10W idle uitkomen. Je mist dus grofweg 50W.

Jij hebt nogal wat extra’s aangesloten. Die netwerkkaart doet al ca 10W idle. Harde schijven grofweg 25W in idle, nog een berg SSD’s en een 860W voeding die ruim onder de 20% draait.

Met een andere voeding zul je al wat gaan winnen - geen idee hoeveel, maar de grootverbruikers blijven natuurlijk je 7 harde schijven en de netwerkkaart.

Ik vraag me af of je hier nog heel veel lager kunt uitkomen zonder flinke hardware wijzigingen…

[cyborgium]

Mars Warrior schreef op vrijdag 27 mei 2022 @ 13:13:

Met dit bordje kun je kaal rond de 10W idle uitkomen. Je mist dus grofweg 50W.

Met alleen een bootschijf aangesloten is dat ook wel waar ik op uitkwam, zo'n 15 watt.

Mars Warrior schreef op vrijdag 27 mei 2022 @ 13:13:
Ik vraag me af of je hier nog heel veel lager kunt uitkomen zonder flinke hardware wijzigingen…

Ik denk inderdaad dat dat antwoord nee is, en dat vind ik voor nu ook prima!

Volgende stap word inderdaad een andere power supply (again, deze alleen gekozen omdat ik deze nog had liggen) en een andere netwerk kaart. Ik heb van een duits merk een 10gbs kaart gevonden die volgens de datasheet max 1.5 watt gebruikt! Dat klinkt best aantrekkelijk

[wouter.N]

cyborgium schreef op vrijdag 27 mei 2022 @ 13:53:
[...]


Met alleen een bootschijf aangesloten is dat ook wel waar ik op uitkwam, zo'n 15 watt.


[...]


Ik denk inderdaad dat dat antwoord nee is, en dat vind ik voor nu ook prima!

Volgende stap word inderdaad een andere power supply (again, deze alleen gekozen omdat ik deze nog had liggen) en een andere netwerk kaart. Ik heb van een duits merk een 10gbs kaart gevonden die volgens de datasheet max 1.5 watt gebruikt! Dat klinkt best aantrekkelijk

Linkje naar de 10gbps kaart?

[Metoru]

Goedemiddag allemaal,

Ik heb op dit moment de intentie om een PLEX ubuntu server thuis te zetten, waarmee ik meerdere 1080p streams of een enkele 4k stream wil kunnen draaien. Verder wil ik het gaan gebruiken als een Pi-Hole en wellicht een samba server voor wat thuis shares, foto's en dergelijke.

Laatst zag ik een Beelink met een N5095 met 8gb ram en 256 GB storage (ga deze uitbreiden met hardeschijven die ik hier al heb liggen.
Echter vraag ik mij af of deze dat zal trekken, of dat het dan handiger is om eentje zelf te bouwen?
Het liefst wil ik natuurlijk zo min mogelijk stroomverbruik.
Zouden jullie mij kunnen helpen met het opzetten (of advies) van een servertje hiervoor?

Heel erg bedankt

[mrmrmr]

@Metoru Het hangt af van wat je exact wil gaan doen. Intel processoren hebben een ingebouwde Intel Quick Sync Video. Dat is een verzameling functies ingebouwd in hardware.

Bij Plex heb je een Plex Pass abonnement nodig om Intel's hardware functies aan te spreken. Op zich zijn N-processoren voldoende snel, maar als je dingen wil die buiten Quick Sync vallen, dan misschien niet meer. Ik laat die vraag open voor de deskundigen.

Het gebruik van een N-processor kan leiden tot een lager idle verbruik met ongeveer 1 tot 2W ten opzichte van bijvoorbeeld een zuinig Fujitsu moederbord. Zie de gepinde posts in dit topic en de vorige voor gerapporteerde metingen.

[cyborgium]

wouter.N schreef op zaterdag 28 mei 2022 @ 11:05:
[...]


Linkje naar de 10gbps kaart?

https://www.trendnet.com/...k-adapter-TEG-10GECSFP-v2

Weet iemand een manier om betrouwbaar en vooral betaalbaar te meten hoeveel stroom een PCIe apparaat verbruikt? Ik zou best wat tests willen doen met mijn huidige Intel X520-DA2 en deze van hierboven.

[IceTeaGX]

cyborgium schreef op maandag 30 mei 2022 @ 13:21:
[...]


https://www.trendnet.com/...k-adapter-TEG-10GECSFP-v2

Weet iemand een manier om betrouwbaar en vooral betaalbaar te meten hoeveel stroom een PCIe apparaat verbruikt? Ik zou best wat tests willen doen met mijn huidige Intel X520-DA2 en deze van hierboven.

Voor PCIe slots zal je iets van een riser/interposer nodig hebben om die meting uit te voeren (of je moet werken vanuit een base system en het verschil met/zonder kaarten, maar daar zitten veel variabelen tussen)
https://wccftech.com/how-...test-graphics-card-power/ (uiteraard moet je de PCIe power connectors niet gebruiken voor netwerkkaartjes)

Ziet er wel maar een raar type uit. Nog PCIe 2.0, en geen chipset gespecifieerd. Gezien de grootte zal deze niet veel CPU offload hebben, dus je CPU zal harder moeten werken aan hogere snelheden waardoor deze meer zal verbruiken. Dus de kaart is (misschien!) wel maar 1.5W, het totaal systeemverbruik voor 10GB snelheden zal wel wat meer zijn. (offload is meestal efficiënter dan puur op CPU werken-)

[ Voor 3% gewijzigd door IceTeaGX op 30-05-2022 14:22 ]

[Skynett]

cyborgium schreef op maandag 30 mei 2022 @ 13:21:
[...]


https://www.trendnet.com/...k-adapter-TEG-10GECSFP-v2

Weet iemand een manier om betrouwbaar en vooral betaalbaar te meten hoeveel stroom een PCIe apparaat verbruikt? Ik zou best wat tests willen doen met mijn huidige Intel X520-DA2 en deze van hierboven.

Hou maar met een Watt of 10 rekening. Je kan ook gewoon het totaal vermogen van de PC meten met en zonder kaart.
En zeker een kaart als deze, die als redelijk op leeftijd is, is gewoon niet zuinig. Was waarschijnlijk ook geen onderdeel van de ontwerpcriteria.

EDIT; ik las je topic verkeerd, ik dacht je met de Intel 520 wilde testen. Die zitten zo maar op 10 W of meer.

Op zich een leuke kaart die je hebt uitgezocht, alleen wordt ik een beetje zenuwachtig van een groot zwart koellichaam. Dat wekt bij mij namelijk de indruk dat er meer dan 1,5W te verstoken is.

En nogmaals, ik zou juist het totaalverbuik van de PC gaan meten met elke kaart afzonderlijk gemonteerd, en dan zeker ook een meting als je de verbinding dan helemaal dicht trekt.

[ Voor 25% gewijzigd door Skynett op 30-05-2022 14:26 ]

[cyborgium]

Ik snap je punt, maar in de datasheet staat wel degelijk: Max. Consumption: 1.5W

[Clueless]

cyborgium schreef op maandag 30 mei 2022 @ 13:21:
[...]


https://www.trendnet.com/...k-adapter-TEG-10GECSFP-v2

Weet iemand een manier om betrouwbaar en vooral betaalbaar te meten hoeveel stroom een PCIe apparaat verbruikt? Ik zou best wat tests willen doen met mijn huidige Intel X520-DA2 en deze van hierboven.

Heb niet 1,2,3 terug kunnen vinden welke exacte chipset er gebruikt wordt. De driver-set is voor Aquantia en dan is de kans groot dat het een AQC100-chipset is. En die is inderdaad rond de 1W.

• https://www.bloomberg.com...t-ethernet-mac-controller
• https://www.businesswire....t-Ethernet-MAC-Controller
• https://www.marvell.com/c...-aqc100-product-brief.pdf

The AQtion AQC100 lowers costs, complexity and power by delivering the following benefits and features:
• PCI Express 3.0 with x4/x2/x1 lane operation
• SFP+ for Direct Attach Copper (DAC) and optical SFP modules
• Board-level or backplane connectivity between chips
• Support for Windows, macOS, Linux, Data Plane Development
Kit, and other operating systems
• Less than 1W power consumption

Wel moet je eventueel nog rekening houden om nog de belasting van een SFP mee te rekenen. Als ik bij FS kijk dan is dat voor SR fiber (10GBASE-SR) ≤0,6W en tot ≤2,3W voor koper (10GBASE-T)

[cyborgium]

IceTeaGX schreef op maandag 30 mei 2022 @ 13:38:
[...]

Voor PCIe slots zal je iets van een riser/interposer nodig hebben om die meting uit te voeren (of je moet werken vanuit een base system en het verschil met/zonder kaarten, maar daar zitten veel variabelen tussen)
https://wccftech.com/how-...test-graphics-card-power/ (uiteraard moet je de PCIe power connectors niet gebruiken voor netwerkkaartjes)

Ziet er wel maar een raar type uit. Nog PCIe 2.0, en geen chipset gespecifieerd. Gezien de grootte zal deze niet veel CPU offload hebben, dus je CPU zal harder moeten werken aan hogere snelheden waardoor deze meer zal verbruiken. Dus de kaart is (misschien!) wel maar 1.5W, het totaal systeemverbruik voor 10GB snelheden zal wel wat meer zijn. (offload is meestal efficiënter dan puur op CPU werken-)

Klinkt als een logisch verhaal inderdaad.

Ik denk ook niet dat ik deze kaart zelf kopen ga, tenzij ik nog een extra 10gb nic nodig heb. Ik kan deze niet voor onder de 130 euro krijgen, dan zou het wel heel veel energie moeten besparen om dat het waard te maken.

Wat betreft PCIe 2.0, dat maakt niet zo veel uit. PCIe 2.0 x4 geeft 2.0GB/s, genoeg voor 10Gb/s. PCIe 3.0 x1 geeft maar 1GB/s, niet genoeg voor 10Gb/s

[cyborgium]

Clueless schreef op maandag 30 mei 2022 @ 14:28:
[...]


Heb niet 1,2,3 terug kunnen vinden welke exacte chipset er gebruikt wordt. De driver-set is voor Aquantia en dan is de kans groot dat het een AQC100-chipset is. En die is inderdaad rond de 1W.

• https://www.bloomberg.com...t-ethernet-mac-controller
• https://www.businesswire....t-Ethernet-MAC-Controller
• https://www.marvell.com/c...-aqc100-product-brief.pdf

[...]


Wel moet je eventueel nog rekening houden om nog de belasting van een SFP mee te rekenen. Als ik bij FS kijk dan is dat voor SR fiber (10GBASE-SR) ≤0,6W en tot ≤2,3W voor koper (10GBASE-T)

Ah top! Dankje voor de links.

Inderdaad komt daar nog de belastign van de SFP bij, maar de optics die ik heb, gebruiken volgens unifi controller niet meer dan 12mA. Wellicht dat dit meer is als er veel verkeer is, maar dat zal toch niet regelmatig voorkomen.

[FireDrunk]

Friendly reminder: Als je spindown aan zet om je server 'zuiniger' te maken.

Denk dan ook om je Automatische ZFS Snapshots.

Al een week bezig om uit te vogelen waarom mijn disks elk uur keurig opspinden

* FireDrunk kan wel wat koffie gebruiken...

[D-Three]

mrmrmr schreef op vrijdag 20 mei 2022 @ 13:59:
@BlackRabbit

D-Three in "Het grote zuinige server topic - deel 3"

Omdat er nog niemand dit bord gemeten in standaard configuratie (zie topicstart voor wat dat is), zonder hard disks, is het niet bekend hoe het vebruik zich verhoudt met de Fujitsu D3644-B.

Het beste is zo weinig mogelijk 3.5" drives toe te passen. Die verbruiken ergens tussen 3 en 8W per stuk als ze draaien. Daarnaast is software (besturingssysteem, virtualisatie en toepassingen) ook heel belangrijk.

De inrichting kan veel bepalender zijn dan de hardware voor het uiteindelijke verbruik binnen dezelfde klasse van systemen.

BlackRabbit schreef op vrijdag 20 mei 2022 @ 14:11:
[...]

Alright, bedankt voor de feedback!

Het is wat later dan gedacht maar ik heb met de standaardconfig uit de TS kunnen meten. Ik heb dus de HDD's en casefans afgekoppeld, de cpu-fan heb ik wel ingeschakeld gelaten. Met deze setup meet ik dan een verbruik tussen 10,4W en 10,8W. Zonder cpu-fan gaat er ongeveer 0,2W van af.

Consoleblank werk niet, het scherm blijft aan. Ik heb dan maar de hdmi kabel uit getrokken en dan gaat er ongeveer 0,5W af.

edit: Ik heb getest met setterm en daarmee gaat het scherm wel uit. Het verbruik zakt dan ongeveer evenveel als het uit trekken van de hdmi kabel.

#	Category	Product
1	Processors	Intel Core i3-8100 Boxed
1	Moederborden	ASRock C246 WSI
1	Behuizingen	Inter-Tech 1.5U-1528L
1	Computer accessoires	Leicke ULL Power Supply 120 W
1	Geheugen intern	HyperX Fury black HX424C15FBK2/32
1	Solid state drives	Transcend 430S 256GB

[ Voor 6% gewijzigd door D-Three op 01-06-2022 10:23 ]

[Jormungandr]

Intussen heb ik mijn NAS en geconsolideerd met een van de ESX servers wat neer komt op een verbruik van 64W, komende van 89W.

Wat is er gewisseld:

• Moederbord/CPU/Mem
• Supermicro backplane fans vervangen door Noctua NF-F12 IndustrialPPC fans.
• Van 10Gb naar 1GB

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Core i3-9100 Boxed	€ 161,39	€ 161,39
1	Moederborden	Fujitsu D3643-H	€ 0,-	€ 0,-
1	Controllers	IBM ServeRAID M1015 SAS/SATA Controller for System x	€ 84,64	€ 84,64
1	Behuizingen	Supermicro SuperChassis 846BE16-R920B	€ 2.482,17	€ 2.482,17
1	Geheugen intern	Crucial CT2K16G4DFD832A	€ 149,99	€ 149,99
1	Geheugen intern	Crucial CT16G4DFRA32A	€ 59,90	€ 59,90
6	Solid state drives	HGST Ultrastar SSD400M 400GB	€ 0,-	€ 0,-
Bekijk collectie Importeer producten			Totaal	€ 2.938,09

Toch enkele kanttekeningen:

• Door een niet supermicro bord te gebruiken in een SM chassis verlies je toch enige controle zoals IPMI, power measurement en temp reads.
• Het 2e PCIe 16x slot op het fujitsu bord is eigenlijk electrisch 4x. Geen 10Gbit NIC dus aangezien het eerste slot al bezet is door de M1015 HBA. We gaan zien of ik hiermee kan leven.
• Maar 1 FAN header buiten de CPU header. Dit wil zeggen dat alledrie de Noctia NF-F12i's op 1 pin header zitten. Het blijkt tot nu toe geen probleem te zijn.
• De 2 Noctuas die als exhaust dienen zitten met Y splitters samen met de cpu koeler op de CPU fan header.
• Zonder SM bord heb je geen PWM controle over de fan headers op de backplane. Fans die je daarop aansluit draaien continue op 100%. Toch best luid met de 3 NF-F12i's.
• Nog geen HDD aangesloten tot alles stabiel is. De Seagate Constellations moeten er zowiezo uit op termijn
• Voorlopig lijken de NF-F12i's de SSD's voldoende koel te houden. Alle zes zitten ze rond 22 graden.

All in zorgt het voor een verlaging van 20W tov de oude NAS setup. Het voordeel is echter groter want nu kan ik de 2e ESX server afzetten wanneer hij niet nodig is, wat uiteindelijk ook winst is. Wat niet draait kan niet verbruiken.

Een van de nadelen van ESX is wel dat ik, gezien de Fujitsu geen IPMI heeft, redelijk blind ben naar CPU temps en fan speeds. Als er mensen ervaring hebben met het verbruik van supermicro borden, shoot!

[GioStyle]

-

[ Voor 99% gewijzigd door GioStyle op 29-10-2022 23:53 ]

[Skynett]

cyborgium schreef op maandag 30 mei 2022 @ 13:21:
[...]


https://www.trendnet.com/...k-adapter-TEG-10GECSFP-v2

Weet iemand een manier om betrouwbaar en vooral betaalbaar te meten hoeveel stroom een PCIe apparaat verbruikt? Ik zou best wat tests willen doen met mijn huidige Intel X520-DA2 en deze van hierboven.

Hoewel ik al op deze post geregeerd heb, was mijn nieuwsgierigheid toch wel gewekt, dus ik heb zo'n kaartje besteld en wat metingen verricht.

In mijn systeem zat een 560SFP+ van Intel (met een HP sticker) PCIe*8 v2. Deze dus vervangen voor de Trendnet TEG-10GECSFP v2 PCIe*4 v2. Ik maak gebruik van DAC kabels. Verdere specs i5-9500K, Gigabyte Z390 Aorus Pro, Avago 3108 MEGAraid controller, 8*12TB WD (geshuckt), Corsair SF450 voeding. Het draait onder Windows 2019 server. Metingen verricht met de ELV Energy master

Idle verbruik zonder muis, toetsenbord en monitor was 89W.
Bij het belasten van de NIC dmv een filecopy over het netwerk ~9,6Gbit/sec (van SSD naar SSD, om de array niet aan te spreken) 105W.

Na het omwisselen van de Intel SFP560SFP+ door de Trendnet TEG-10GECSFP v2 weer gemeten:
Idle verbruik 85W.
Verbruik bij dezelfde kopieeractie 104W.

Ik had eigenlijk wel een grotere besparing verwacht. En het koellichaampje blijft vrijwel koud.
En deze is inderdaad op de Aquantia AQC100 gebaseerd. De drivers van Trendnet zelf waren wat achterhaald (2019), maar bij Marvell nieuwere drivers gevonden. De 3.16 versie van dit jaar kreeg ik niet aan de praat, maar een oudere 2.2.3.0 gevonden en die werkte goed. De kaart presenteert zich dan als een Marvell Felicity Network Adapter.

[Clueless]

[
Toch enkele kanttekeningen:

• Het 2e PCIe 16x slot op het fujitsu bord is eigenlijk electrisch 4x. Geen 10Gbit NIC dus aangezien het eerste slot al bezet is door de M1015 HBA. We gaan zien of ik hiermee kan leven.

Als je per se 10Gbit wil, dan zijn er wel kaarten die electrisch 4x zijn. Bijv.:

https://www.startech.com/en-nl/networking-io/st10gspexnb
https://www.trendnet.com/...k-adapter-TEG-10GECSFP-v2

[Jormungandr]

Ik heb geen 10GbitBase-T dus het moet SFP+ zijn en de tweede lijkt mij niet meteen supported door vSphere maar daar moet ik eerst de compat DB eens doorpluizen. Voorlopig lukt het wel zonder de 10Gbit maar vMotion is toch merkbaar trager.

@GioStyle klopt, maar er zijn enkele componenten die het minder zuinig maken en waar ik moeilijk rond kan:
- Supermicro voeding van 920W (weliswaar een platinum rating).
- De backplane zelf.
- De 6 P400 SAS SSD's zijn minder zuinig dan wat we van gewone SSD's gewend zijn.

Al bij al ben ik nog best tevreden. Ik zou veel meer winst kunnen maken maar dan zijn de uitgaven meteen weer een pak hoger om dit te bereiken. Misschien de enigste "splurge" die ik nog zou maken is dat AsrockRack C246M WS bord omwille van de IPMI en extra PCIe.

[mrmrmr]

@GioStyle klopt, maar er zijn enkele componenten die het minder zuinig maken en waar ik moeilijk rond kan:
- Supermicro voeding van 920W (weliswaar een platinum rating).
- De backplane zelf.
- De 6 P400 SAS SSD's zijn minder zuinig dan wat we van gewone SSD's gewend zijn.

En de SAS controller. De overhead van de voeding (x2 redundant) is hoog bij lage belasting, zelfs als die uit staat. De SSD's verbruiken volgens specs "typisch" 33W.

Al bij al ben ik nog best tevreden. Ik zou veel meer winst kunnen maken maar dan zijn de uitgaven meteen weer een pak hoger om dit te bereiken. Misschien de enigste "splurge" die ik nog zou maken is dat AsrockRack C246M WS bord omwille van de IPMI en extra PCIe.

Vasthouden aan onzuinige spullen is dus de oorzaak van je verbruik. Ik denk niet dat je thuis 6x SAS SSD's nodig hebt. Vervang die door een goedkope en zuinige grote 2 of 4 TB Samsung QVO SSD, vervang de voeding en je het verbruik neemt af tot minder dan 10W (1 tot 3 Gbps).

Afdankertjes van de zaak zijn vaak stroomvreters en dit is een voorbeeld daarvan. IPMI is niet noodzakelijk, want je kunt thuis gewoon bij de server mocht dat nodig zijn (die staat niet in een remote DC), de rest kan via remote control software. Temperatuur/rpm kun je uitlezen met een OS als LInux of Windows. Linux is aan te bevelen als virtualisatie OS. Het heeft zuinigheidsfuncties, drivers en veel mogelijkheden die ESXi ontbeert.

Omvangrijke storage kun je best toepassen in grote formaten. Een Toshiba MG09 18TB is een voorbeeld. Zelfs met nog 3 SATA aansluitingen over kun je zo tot 54TB komen (<25W). Oude hard disks kun je tijdelijk inschakelen voor het maken van een backup. Als het alleen aanstaat tijdens de backup scheelt dat enorm in het verbruik ten opzichte van altijd-aan. Zelfs als je dat doet met deze chassis+voeding. RAID c.s. is alleen noodzakelijk als er daadwerkelijk grote financiële belangen zijn. Dat is thuis zelden het geval.

[campr112]

Skynett schreef op woensdag 25 mei 2022 @ 19:12:
@Jormungandr
Hier nog wat foto's. Daar kan je zien hoe ik de fans geplaatst heb. Het zijn grote kasten en zonder het supermicro MB en zonder de fanrail heb je veel meer plaats voor de fans. Ik heb 4 14cm fans in een W vorm geplaatst. Zo kan je meer lucht verplaatsen. En noctua fans zijn niet geschikt om druk op te bouwen, terwijl deze behuizing (zeker in originele toestand) daar wel op gebouwd is, dus alle hulp is dan welkom als het om luchtverplaatsing gaat. Het systeem is nu verrassend stil.

Het systeem is wel iets veranderd, er zit nu geen kolink voeding meer in.

Skynett in "Het grote zuinige server topic - deel 2"

Ik was nog even aan het nadenken over je probleem met de picoITX en drives opspinnen.. Misschien met wat 'gold cap' achtige constructie..

Over het algemeen worden condensatoren gebruikt om spanningsdips/ripples op te vangen. Nou dacht ik als je de condensatoren maar groot genoeg maakt, kan je de 'opstartdip' opvangen. Moet je natuurlijk wel eerst de kans hebben om de condensatoren op te laten laden voordat je de drives opspint.

Je zou ook even moeten uitrekenen hoe veel vermogen de drives tijdens het opspinnen vragen en hoe lang..

En het is ook niet echt 'goedkoop': https://www.amazon.nl/-/en/dp/B0B2RTQ5MF Kan je gewoon bijna een 2de picoITX voeding van kopen.. Ik vond het wel een leuk idee. Maar ik denk dat je (liggende aan de HD) misschien zelfs de 12V en de 5V lijn moet 'opvangen'. Is het niet mogelijk om een 'staggered' spin-up te doen? De meeste SAS controllers ondersteunen dit. Mogelijk dat dat een oplossing is. Ook zou je naar het 'verlies' tijdens gebruik van de condensatoren moeten kijken, ze hebben ook een zelfontlading..

[Jormungandr]

Allemaal goeie punten hoor @mrmrmr. Het blijft een rekenoefening om te kijken welke aankopen daadwerkelijk een redelijke terugverdientijd hebben.

In praktijk is het gemakkelijker om gewoon een ander chassis te nemen dan de supermicro helemaal te “gutten”. Ik gebruik maar 1 voeding (redundante voedingen is nutteloos) maar door het chassis ben je inderdaad beperkt qua componenten: raid controller noodzakelijk, SM voeding, stevige fans … .

Ivm os is voor mij ESX de enige optie gezien het geheel dubbel dienst doet als lab en ik nu eenmaal in een 100% vmware wereld zit. Ik ben niet overtuigd dat de change van esx naar linux de moeite waard is met mijn use case in gedachte.

De ssd’s daarentegen zou ik misschien wel willen vervangen en een grote hdd toevoegen voor gewone data. Die staat nu op zeer onzuinige constellation van 3TB (niet aangesloten).

[LittleKiller]

campr112 schreef op zaterdag 4 juni 2022 @ 15:59:
[...]

Ik was nog even aan het nadenken over je probleem met de picoITX en drives opspinnen.. Misschien met wat 'gold cap' achtige constructie..

Over het algemeen worden condensatoren gebruikt om spanningsdips/ripples op te vangen. Nou dacht ik als je de condensatoren maar groot genoeg maakt, kan je de 'opstartdip' opvangen. Moet je natuurlijk wel eerst de kans hebben om de condensatoren op te laten laden voordat je de drives opspint.

Je zou ook even moeten uitrekenen hoe veel vermogen de drives tijdens het opspinnen vragen en hoe lang..

En het is ook niet echt 'goedkoop': https://www.amazon.nl/-/en/dp/B0B2RTQ5MF Kan je gewoon bijna een 2de picoITX voeding van kopen.. Ik vond het wel een leuk idee. Maar ik denk dat je (liggende aan de HD) misschien zelfs de 12V en de 5V lijn moet 'opvangen'. Is het niet mogelijk om een 'staggered' spin-up te doen? De meeste SAS controllers ondersteunen dit. Mogelijk dat dat een oplossing is. Ook zou je naar het 'verlies' tijdens gebruik van de condensatoren moeten kijken, ze hebben ook een zelfontlading..

@cyborgium en ik zijn bezig met een PCB te maken waarbij je vanaf een picoPSU een soort adapter board krijgt. Vanaf hier kan je dan bijvoorbeeld 6x sata uitvoeren. We zijn nu bezig met versie 1, maar ik zit erover na te denken om op versie 2 een UPS functie in te bouwen.

Parallel aan de 12volt bus vanaf de adapter zou je een accu pakket kunnen plaatsen. Als je het circuit slim opbouwt, zou je dan <0.1W aan no-load verbruik krijgen. Het mooiste van zo'n oplossing zou zijn dat je met een 60W adapter, 120W aan stroom kan vragen van je systeem (mits je dat niet te lang doet). De grootste voorwaarde bij zo'n systeem is dat je het ziet als shutdown-UPS. Dus als de stroom eraf valt, gewoon meteen je server uitzetten.

[mrmrmr]

Jormungandr schreef op zaterdag 4 juni 2022 @ 16:33:
Allemaal goeie punten hoor @mrmrmr. Het blijft een rekenoefening om te kijken welke aankopen daadwerkelijk een redelijke terugverdientijd hebben.

Laten we dat eens doen: 30W (van de SAS SSD's) wat kost dat nou? 30W * 24 uur * 365 dagen * 5 jaar * € 0,30 per kWh = € 394. De prijs van een 2TB SSD is € 175. 4TB kost € 343. Dus dat verdien je volledig terug en meer. Ik heb hier niet eens rekening hoeven te houden met de besparing op de SAS controller en het chassis met voeding.

5 jaar is zowel de fiscale als economische gebruikstermijn. Tegenwoordig is het rekenen makkelijker omdat er nauwelijks renteverlies is om mee te nemen.

In praktijk is het gemakkelijker om gewoon een ander chassis te nemen dan de supermicro helemaal te “gutten”. Ik gebruik maar 1 voeding (redundante voedingen is nutteloos) maar door het chassis ben je inderdaad beperkt qua componenten: raid controller noodzakelijk, SM voeding, stevige fans … .

Eens. Ik wilde maar aangeven dat het er vooral om gaat dat het niet langdurig aan staat. In dat kader kun je ook besluiten om de server alleen aan te zetten wanneer nodig.

Ivm os is voor mij ESX de enige optie gezien het geheel dubbel dienst doet als lab en ik nu eenmaal in een 100% vmware wereld zit. Ik ben niet overtuigd dat de change van esx naar linux de moeite waard is met mijn use case in gedachte.

Het verschil tussen ESXi en Linux als "leeg" platform is ongeveer 4W op een zuinig moederbord. Je noemde dat je wilde monitoren (al is dat niet meer nodig als je het verbruik terug hebt gebracht). Naast de zuinigheidsfuncties is het grootste voordeel van Linux is dat je niet alles in zware VM's hoeft te stoppen omdat Linux lichtere virtualisatie methoden heeft. Misschien kun je ESXi/VMWare onder Linux draaien voor jouw doeleinden?

Omdat VM's een stapeling van besturingssystemen zijn, neemt de overhead en daarmee het verbruik ook navenant toe. Minder virtualisatie is goed voor zuinige thuisservers. En waarschijnlijk hoeft niet alles altijd aan te staan. Daarmee kun je ook besparen.

De ssd’s daarentegen zou ik misschien wel willen vervangen en een grote hdd toevoegen voor gewone data. Die staat nu op zeer onzuinige constellation van 3TB (niet aangesloten).

Voor beperkte opslag zijn de zuinige 2.5" 4 of 5 TB Seagate ook een optie. Dat type drives is niet goed in queue depth van >1 of langdurige schrijfacties. Sequentieel werkt het ok. Het is 3,5 keer zuiniger dan de zuinigste 3.5" disks: WD Red c.s. heeft het laagste actief idle verbruik van 3.5" disks (~3W).

[Dietibol]

Hallo,

Ik heb recent volgende server in elkaar gestoken:

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Pentium Gold G6400 Boxed	€ 59,70	€ 59,70
1	Moederborden	Gigabyte H510M S2H V2	€ 69,90	€ 69,90
2	Interne harde schijven	WD Red Plus, 4TB (128MB cache)	€ 91,06	€ 182,12
1	Behuizingen	Inter-Tech IM-1 Pocket	€ 66,25	€ 66,25
1	Processorkoeling	Arctic Alpine 12 Passive	€ 11,34	€ 11,34
1	Geheugen intern	Crucial CT8G4DFRA266	€ 32,40	€ 32,40
1	Voedingen	Corsair CX550F RGB Zwart	€ 69,95	€ 69,95
1	Solid state drives	Gigabyte NVMe SSD 256GB	€ 29,90	€ 29,90
Bekijk collectie Importeer producten			Totaal	€ 521,56

Het was me aangeraden om 2.5 inch schijven te gebruiken voor optimaler verbruik, maar ben overgeschakeld naar 3.5 inch om CRM redenen.

Deze server doet zijn job, maar verbruikt momenteel ~30 Watt idle.

Zijn er nog software tweaks die ik zou kunnen gebruiken om het verbruik nog te optimaliseren?
Mijn server runt ubuntu server distro en ik heb reeds `powertop --auto-tune` gedaan, is er nog iets dat kan helpen? Of is bv mijn PSU meer problematisch?

Alvast bedankt!

[mrmrmr]

@Dietibol Bij 30W aan de 230V stekker is deze voeding volgens Cybernetics 64,6% efficiënt. Het produceert dan 19,7W, dus de overhead is ongeveer 10W. In realiteit kan het afwijken omdat er getest wordt met bepaalde belastingen van de 3.3V, 5V en 12V lijnen.

3.5" disks hebben een relatief hoog verbruik. Deze disks zouden samen 6,2W verbruiken (DC), de rest van het systeem verbruikt uitgaande van de voedingefficiëntiecijfers dan 19,7W - 6,2W = 13,5W. Dat is toch behoorlijk wat meer dan ik zou verwachten.

Wat betreft de voeding zie mijn eerdere reactie. Ik verwacht niet dat een PicoPSU voeding het verbruik naar het verwachte niveau zal brengen (ca. 12 tot 14W aan de stekker).

Ik zie trouwens dat de PicoPSU-90+84W kit op dit moment niet verkrijgbaar is. Dat is jammer.

Kun je met screenshots tonen wat de instellingen zijn van de BIOS? Dan kunnen we meekijken.

Zelfde vraag voor screenshots van alle tabbladen van powertop. Schakel eventuele taken uit.

[Dietibol]

@mrmrmr

Hier zijn enkele screenshots van bios en powertop als gevraagd:
https://imgur.com/a/XtSPBKn

Moest er een specifieke setting zijn die ontbreekt op de screenshots, laat maar weten.

[ Voor 29% gewijzigd door Dietibol op 05-06-2022 11:35 ]

[mrmrmr]

@Dietibol

De moederbord handleiding is hier te vinden.

Observaties/vragen:
• veel power saving settings in de BIOS staan standaard uit bij dit moederbord
• moderne p-state driver is niet geladen onder Linux
• containerd voegt wat verbruik toe
• is consoleblank of X GUI monitor low power aanwezig?
• insteekkaarten aanwezig? USB apparaten aanwezig (behalve toetsenbord/muis)? Draadloze apparaten aanwezig? Ventilatoren aanwezig? Ventilator controllers aanwezig?
• Welke energiemeter gebruik je?
• Staat er onder Settings in de BIOS nog iets?

BIOS settings voor power optimalisatie:

CPU EIST Function: enable
Race To Halt (RTH) (Note) /Energy Efficient Turbo: enable
Intel(R) Turbo Boost Technology: disable (beperkt het maximum verbruik, wat gepaard gaat met relatief hoog verbruik)
Intel(R) Turbo Boost Max Technology 3.0: disable
Frequency Clipping TVB: enable
Voltage reduction initiated TVB: enable
CPU Enhanced Halt (C1E): enable
C3 State Support: enable
C6/C7 State Support: enable
C8 State Support: enable
C10 State Support : enable
Package C State Limit: maximaal (C10?)
CPU Power Performance: ?
Turbo Power Limits: enable
Package Power Limit TDP (Watts) / Package Power Limit Time: 40W
DRAM Power Limit (Watts) / DRAM Power Limit Time: laag
Core Current Limit (Amps): alternatief voor TDP Watts
Turbo Per Core Limit Control: auto
Extreme Memory Profile (X.M.P.): disabled

Settings:
Platform Power Management: ASPM
PEG ASPM: enabled
PCH ASPM: enabled
DMI ASPM: enabled
Power On By Keyboard: disabled
Power On By Mouse: disabled
ErP: enabled
Power Loading: disabled (als dit een probleem veroorzaakt: enabled, verbruik wordt dan hoger)
RC6(Render Standby): enabled
Initial Display Output: IGFX
Internal Graphics: enabled
DVMT Pre-Allocated: 64M
DVMT Total Gfx Mem: 128M
Aperture Size: 128M
OnBoard LAN Controller: enable
Audio Controller: test met enable/disable
Legacy USB Support: disabled
USB Mass Storage Driver Support: enabled
Network Stack: disabled
SATA Controller(s): enabled
SATA Mode Selection: AHCI
Aggressive LPM Support: enabled
Hot plug: disabled
Configured as eSATA: disabled
Realtek PCIe GBE Family Controller: ?
3DMark01 Enhancement: disabled
CPU PCIe Link Speed: test vanaf Gen2
PCH PCIe Link Speed: test vanaf Gen2
VT-d: disabled (enabled wanneer nodig)
CPU Vcore/CPU VCCSA/DRAM Channel A/B Voltage/+3.3V/+5V/+12V/CPU VAXG: controleer of de spanningswaarden normaal zijn.
SATA Support: All SATA Devices
VGA Support: EFI driver
USB Support: test full en partial
PS2 Devices Support: disabled als er geen PS/2 apparaten zijn (toetsenbord/muis)
NetWork Stack Driver Support: disabled
CSM Support: disabled (UEFI besturingssysteem)
LAN PXE Boot Option ROM: disabled
Other PCI devices: UEFI
Save Profiles: bewaar alle settings in een profile

Sommige settings kunnen een nadelig effect hebben.

In powertop zie ik dat het systeem niet de Intel p-state driver gebruikt. De C10 state onder cpu(s) ontbreekt hier: https://i.imgur.com/d7GwVas.png
Check of de non-free Intel kernel packages zijn geinstalleerd. De driver van Intel laat power management over aan de processor zelf.

Het in low power van de iGPU en het aansturen van de monitor gaat via X GUI (xset) of op de command line via consoleblank. Uitleg. Niet vergeten de grub wijziging op te slaan in de Linux image en te herstarten.

Let op dat powertop --auto-tune na iedere herstart moet zijn uitgevoerd. Wacht met meten totdat de monitor uitgaat. Als die niet uitgaat is er misschien een probleem (foutmelding) tijdens booten, druk op enter totdat de login prompt verschijnt en wacht dan totdat de monitor uitgaat.

[ Voor 3% gewijzigd door mrmrmr op 05-06-2022 18:33 ]

[LittleKiller]

mrmrmr schreef op zondag 5 juni 2022 @ 18:29:
@Dietibol

De moederbord handleiding is hier te vinden.

Observaties/vragen:
• veel power saving settings in de BIOS staan standaard uit bij dit moederbord
• moderne p-state driver is niet geladen onder Linux
• containerd voegt wat verbruik toe
• is consoleblank of X GUI monitor low power aanwezig?
• insteekkaarten aanwezig? USB apparaten aanwezig (behalve toetsenbord/muis)? Draadloze apparaten aanwezig? Ventilatoren aanwezig? Ventilator controllers aanwezig?
• Welke energiemeter gebruik je?
• Staat er onder Settings in de BIOS nog iets?

BIOS settings voor power optimalisatie:

CPU EIST Function: enable
Race To Halt (RTH) (Note) /Energy Efficient Turbo: enable
Intel(R) Turbo Boost Technology: disable (beperkt het maximum verbruik, wat gepaard gaat met relatief hoog verbruik)
Intel(R) Turbo Boost Max Technology 3.0: disable
Frequency Clipping TVB: enable
Voltage reduction initiated TVB: enable
CPU Enhanced Halt (C1E): enable
C3 State Support: enable
C6/C7 State Support: enable
C8 State Support: enable
C10 State Support : enable
Package C State Limit: maximaal (C10?)
CPU Power Performance: ?
Turbo Power Limits: enable
Package Power Limit TDP (Watts) / Package Power Limit Time: 40W
DRAM Power Limit (Watts) / DRAM Power Limit Time: laag
Core Current Limit (Amps): alternatief voor TDP Watts
Turbo Per Core Limit Control: auto
Extreme Memory Profile (X.M.P.): disabled

Settings:
Platform Power Management: ASPM
PEG ASPM: enabled
PCH ASPM: enabled
DMI ASPM: enabled
Power On By Keyboard: disabled
Power On By Mouse: disabled
ErP: enabled
Power Loading: disabled (als dit een probleem veroorzaakt: enabled, verbruik wordt dan hoger)
RC6(Render Standby): enabled
Initial Display Output: IGFX
Internal Graphics: enabled
DVMT Pre-Allocated: 64M
DVMT Total Gfx Mem: 128M
Aperture Size: 128M
OnBoard LAN Controller: enable
Audio Controller: test met enable/disable
Legacy USB Support: disabled
USB Mass Storage Driver Support: enabled
Network Stack: disabled
SATA Controller(s): enabled
SATA Mode Selection: AHCI
Aggressive LPM Support: enabled
Hot plug: disabled
Configured as eSATA: disabled
Realtek PCIe GBE Family Controller: ?
3DMark01 Enhancement: disabled
CPU PCIe Link Speed: test vanaf Gen2
PCH PCIe Link Speed: test vanaf Gen2
VT-d: disabled (enabled wanneer nodig)
CPU Vcore/CPU VCCSA/DRAM Channel A/B Voltage/+3.3V/+5V/+12V/CPU VAXG: controleer of de spanningswaarden normaal zijn.
SATA Support: All SATA Devices
VGA Support: EFI driver
USB Support: test full en partial
PS2 Devices Support: disabled als er geen PS/2 apparaten zijn (toetsenbord/muis)
NetWork Stack Driver Support: disabled
CSM Support: disabled (UEFI besturingssysteem)
LAN PXE Boot Option ROM: disabled
Other PCI devices: UEFI
Save Profiles: bewaar alle settings in een profile

Sommige settings kunnen een nadelig effect hebben.

In powertop zie ik dat het systeem niet de Intel p-state driver gebruikt. De C10 state onder cpu(s) ontbreekt hier: https://i.imgur.com/d7GwVas.png
Check of de non-free Intel kernel packages zijn geinstalleerd. De driver van Intel laat power management over aan de processor zelf.

Het in low power van de iGPU en het aansturen van de monitor gaat via X GUI (xset) of op de command line via consoleblank. Uitleg. Niet vergeten de grub wijziging op te slaan in de Linux image en te herstarten.

Let op dat powertop --auto-tune na iedere herstart moet zijn uitgevoerd. Wacht met meten totdat de monitor uitgaat. Als die niet uitgaat is er misschien een probleem (foutmelding) tijdens booten, druk op enter totdat de login prompt verschijnt en wacht dan totdat de monitor uitgaat.

Ik heb even meegelezen, waarom is PCI-E speeds van gen2 beter dan gen3?

[mrmrmr]

LittleKiller schreef op zondag 5 juni 2022 @ 19:05:
Ik heb even meegelezen, waarom is PCI-E speeds van gen2 beter dan gen3?

Dat staat niet in mijn tekst.

Er staat:
CPU PCIe Link Speed: test vanaf Gen2
PCH PCIe Link Speed: test vanaf Gen2

Het gaat om welke generatie het beste is in power saving. Naar Gen1 hoeft niet gekeken te worden, die is te oud. Vanaf Gen2 is het de vraag welke generatie het beste resultaat heeft. Hoe hoger de snelheid, hoe meer energie benodigd is (kwadratisch bij hoge stroom), maar er is een tegeneffect in de werking van power modes in diverse versies. Of de toename in energieverbruik significant is, is afhankelijk van de positie op de energiecurve en de toegepaste methodieken.

Dat kan ook nog BIOS/moederbord afhankelijk zijn, dus de enige optie is testen.

[Dietibol]

@mrmrmr

Metingen waren met een `Brennenstuhl PM 231 E` zonder enige usb apparaten of andere aansluitingen behalve LAN kabel. Geen ventilatoren aangesloten.

Ik heb al de settings die je aangeraden hebt aangepast en opnieuw gemeten, het idle verbruik ligt nu maar rond de ~16W!

Dat is een hele verbetering, nogmaals bedankt voor alle hulp.

[mrmrmr]

@Dietibol Ook al stonden alle power settings van het moederbord standaard op disabled, het is toch meer besparing dan ik had verwacht. Ik vermoed dat de voeding in het systeem omstreeks 50 tot 60% efficiënt is bij 16W input. Dat wil zeggen: 8W tot 9,6W output.

Een PicoPSU-90 en een zuinige 90W 12V adapter zou het verbruik onder 10W moeten kunnen brengen. Ik zie dat er weer een PicoPSU-90+84W adapter (FSP084 DHAN3) te koop is. Dat bespaart € 78 (bij 30 cent per kWh, 5jr), aanschafprijs is 75 +verzendkosten, is nog net economisch effectief. Deze voeding is net voldoende voor deze 2 hard disk drives, maar niet voldoende voor nog meer 3.5" drives.

Edit: cijfers aangepast.

[ Voor 4% gewijzigd door mrmrmr op 06-06-2022 15:47 ]

[mrmrmr]

Hardwareluxx.de heeft forums maar het voert ook zelf tests uit. Interessant zijn de verbruikstests van hard disks. Het gaat om verbruik tijdens opstarten en om verbruik in idle. Beide lijken soms lager of hoger dan fabrikanten aangeven. De metingen zijn uitgevoerd met een stroomtang en dat kan de nauwkeurigheid beïnvloeden.



Als dit piekvermogens betreft, dan is het goed te bedenken dat het de pieken van 2 spanningen zijn, namelijk 5V en 12V. Het zou wel toevallig zijn als die samenvallen. Vermoedelijk wordt vooral 12V gebruikt om de schijven te laten draaien.



De verrassing hier is dat de metingen van bepaalde grote Seagates op een laag idle verbruik wijzen. Helaas is de prijs van bijvoorbeeld een Seagate IronWolf Pro 18TB ST18000NE000 veel hoger dan die van Toshiba MG09 18TB.

Een van de laatste tests: https://www.hardwareluxx....l-aber-teuer.html?start=2

[ Voor 10% gewijzigd door mrmrmr op 08-06-2022 00:25 ]

[Zeezicht]

Ik wil een (relatief) zuinige Proxmox / NAS server bouwen. Ik heb al een 3-tal WD Gold schijven van 18TB. Maar nu heb ik de rest nog nodig. Gekozen voor het welbekende Fujitsu D3644-B bord en de
Intel Core i3-9100F CPU. Die "F" versie is veel goedkoper dan de non-F. Wat is het verschil tussen die 2?
En zou dit (op de schijven na) een beetje zuinig zijn of zouden jullie andere keuzes maken?
Daarnaast is de PicoPSU 160-XT blijkbaar niet meer leverbaar, zou de 150 dit zonder problemen kunnen? Of moet ik toch voor een normale voeding gaan?

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Core i3-9100F (SRF7W) Boxed	€ 97,47	€ 97,47
1	Moederborden	Fujitsu D3644-B	€ 249,-	€ 249,-
1	Behuizingen	Silverstone Sugo SST-SG11B	€ 77,21	€ 77,21
3	Kabels	Akasa PROSLIM SATA 3.0 50cm Blauw	€ 5,-	€ 15,-
1	Kabels	Startech.com 4x SATA Power Splitter Adapter Cable (PYO4SATA) Zwart	€ 6,95	€ 6,95
1	Computer accessoires	Leicke ULL Power Supply 120 W	€ 0,-	€ 0,-
1	Geheugen intern	Corsair Vengeance LPX CMK32GX4M2A2666C16	€ 129,-	€ 129,-
1	Voedingen	Mini-box picoPSU-150-XT	€ 49,90	€ 49,90
1	Voedingen	Mini-box picoPSU PicoPSU-160-XT	€ 0,-	€ 0,-
Bekijk collectie Importeer producten			Totaal	€ 624,53

[D-Three]

@Zeezicht De I3-9100F is een cpu zonder ingebouwde video (igp). Ik weet niet of de Fujitsu dit kan maar sommige borden willen niet booten zonder video. Ook wordt het lastig om een os te installeren zonder dat je beeld hebt. Ik zou het niet aanraden om te doen tenzij je nog een losse videokaart neemt maar dat is minder zuinig.

Ik weet niet wat je verder van plan bent met de server maar misschien moet je ook overwegen om een SSD te nemen. Zet het OS en de veel gebruikte data op de SSD zodat de HDD's eventueel in spindown kunnen. Dat bespaart ook energie.

[Zeezicht]

@D-Three Aha, dan is die F versie niet echt handig inderdaad. Het wat niet de bedoeling om er een extra videokaart in te zetten. Kan je dan beter een Pentium Gold G6405 of een i3-9100 nemen?

Vergeten te vermelden, er komt inderdaad ook een (SATA) SSD in. Die is voor het OS en eventuele VM's. Op de disks wil ik ZFS draaien (Z1).

[D-Three]

@Zeezicht een G6xx is niet compatibel, die zijn voor een andere socket Eventueel een G5400 kan. Wat je kiest, hangt enerzijds af van het budget en anderzijds van de toepassing. Een G5400 zal iets zuiniger zijn dan een i3-9100 maar in idle zal het elkaar niet zo heel erg veel ontlopen. Onder full load zal de i3-9100 een pak meer verbruiken want meer cores. Maar daarentegen is hij ook een stuk krachtiger.

Je kan eventueel ook eens op V&A kijken als vooral het budget belangrijk is:
V&A aangeboden: Intel Core i3-8100 Boxed
V&A aangeboden: Intel Pentium Gold G5420 Boxed

[ Voor 4% gewijzigd door D-Three op 11-06-2022 01:53 ]

[Zeezicht]

@D-Three Dan heb ik denk ik liever de i3. Want meer power is wel handig met VM's, en inderdaad weining meer verbruik onder idle.

[D-Three]

@Zeezicht Wat betreft de voeding vermoed ik dat het moet lukken. Maar @mrmrmr is daar meer een expert in. Wat ik wel nog wou zeggen is dat de picopsu-160-xt nog te krijgen, bijvoorbeeld hier, al dan niet in combinatie met een voeding.

[mrmrmr]

@Zeezicht PicoPSU wordt aangeboden door o.a. JPF Computing BV, maar niet de 160W versie. Die is wel te te verkrijgen via amazon.nl/amazon.de (minipc.de). Een Leicke 120W voeding is krap met een i3-9100 en 3x 3.5" drives.

In jouw geval kun je ook Corsair RM550x (2021) ATX voeding toepassen. Die is iets minder zuinig bij heel lage belasting, maar er is veel ruimte voor tot 6x 3.5" drives. Ik denk dat je met 3 drives rondom 16W uitkomt (4W basis + 3x 4W disks).

Als je de drives laat downspinnen en de server weinig belast kun je toch voor een 150W adapter kiezen, bijvoorbeeld een XP Power VES150PS12.

Je hebt een Coffee Lake processor nodig, een i3-9100 is ok, dat is 9th gen 1151 socket (v2).

Het geheugen moet standaard JEDEC 1333 MT/s ondersteunen om tot 2666 te komen. Geen XMP. Daarom is Corsair LPX niet geschikt. Geschikt is pricewatch: Crucial CT2K16G4DFRA266.

[Zeezicht]

@mrmrmr Er kunnen geen 6 drives in die behuizing en dan wordt het denk ik sowieso een build die nog meer stroom verbruikt alleen al door het aantal drives. Dus als ik die PicoPSU + XP Power adapter ervoor kan gebruiken zou dat mooi zijn. Maar jij zegt dat je 'm dan weinig kunt belasten; dat rijmt dan weer niet meer VM's erop. Die kunnen tijdelijk natuurlijk wel voor een hoge belasting zorgen. Of denk je dat dat met 3x3.5" HDD. 1xSSD en de i3 wel moet lukken?

Bedankt voor de tip over het geheugen! Die zal ik wijzigen.

[mrmrmr]

Het gaat om de belasting tijdens opstarten, dan gaan de schijven draaien. Als alle schijven exact tegelijk een piekvermogen vragen en de processor ook, ontstaat een probleem als dat de labelcapactiteit van adapter+PicoPSU te boven gaat. In de praktijk gebeurt dat weinig, maar het kan wel.

Laten we de piekbelasting bekijken:

Het exacte maximale verbruik van de 18TB WD181KRYZ schijven is mij niet bekend. Deze waarde is niet te vinden in de spec sheet van WD. Volgens hardwareluxx.de verbruikt de 14TB WD141KRYZ variant
28,16W. De 18TB variant heeft misschien een of twee platters meer, misschien is het 30W. Vermoedelijk bestaat dat uit het totaal van 5V en 12V belastingen die niet noodzakelijk tegelijkertijd optreden. Geschat op basis van andere disks: 2A op 12V.

3x 30W = 90W piekbelasting conservatief
3x 24W = 72W piekbelasting schatting

Deze cijfers zijn alleen van toepassing als de piekbelastingen exact samenvallen en dat gebeurt weinig in de praktijk. In het eerste geval blijft er 30W over voor de processor, dat zou te weinig zijn voor een i3-9100. In het tweede geval blijft er 48W over voor de processor, dat is voldoende voor een i3-9100.

De Leicke FJ-SW2027120100 heb ik getest. Die kan 120W nominaal leveren. Dat wil zeggen volgens de label. Maar de spanning blijft dan nog maar net binnen de toegelaten waarde bij 120W, meer dan 120W is af te raden.

De zuinigere XP Power VES120PS12 doet dat veel beter in dezelfde test.

De PicoPSU-160-XT heeft volgens de handleiding een maximale belasting op 12V van 8A met een maximum piek van 15A.
12V * 8A = 96W maximale continu belasting
12V * 15A = 180W maximale piekbelasting

Een piek van 120W of iets meer tijdens opstarten is te verwerken door de PicoPSU-160-XT.

Als je de server continu gaat belasten op 40W, is een PicoPSU qua efficiëntie gelijkwaardig aan een goede ATX voeding. De PicoPSU is met name nuttig bij lage idle belasting, vooral onder 10W DC is er typisch een groot percentueel verschil.

De XP Power heb ik in de 120W variant. Het is een voeding met een mooie efficiëntielijn die nauwelijks afbuigt omlaag bij (zeer) lage belasting. Als de schijven zouden downspinnen en de belasting onder 10W komt is dat een geschikte oplossing. Helaas is de prijs van adapters met grote capaciteit relatief hoog.

Ik adviseer een Molex Mini-Fit Jr stekker aan te (laten) zetten voor rechtstreekse verbinding met de PicoPSU-160-XT. Mits goed uitgevoerd zorgt dat voor een uitstekend belastbare verbinding. De PicoPSU-160-XT heeft al een tegenpool Mini Fit Jr 4p aansluiting.

Wat is nu het idle verbruik?
In optimale omstandigheden is dat ongeveer 3,5W (systeem) + 3x 5,6W = 20,3W in idle met draaiende schijven. Of ongeveer 3,5 + 3x 0,31 = 4,43W als de schijven downspinnen (stil gaan staan als ze niet worden gebruikt voor bepaalde tijd). Dat is onder Windows of Debian/Ubuntu. Onder Proxmox met zijn extra taken zal het verbruik hoger liggen, VM's stapelen besturingsystemen waardoor de overhead en het idle verbruik toeneemt. Hoeveel precies hangt af van wat je met het systeem doet.

Conclusies:
Als geld niet van groot belang is, en het idle verbruik rond 20W, dan raad ik een XP Power VES150PS12 aan met een PicoPSU-160-XT. De adapter zou worden voorzien van een Molex MiniFit Jr aansluiting.

Als het verwachte idle verbruik tamelijk hoog (30-40W) ligt zou ik voor de makkelijkere optie gaan en een Corsair RM550x (2021) toepassen.

[Zeezicht]

@mrmrmr bedankt voor de uitgebreide toelichting.

De belasting zal wel laag zijn. In principe niet de hele tijd VM’s die staan te stampen. Dus ik hoop wel dat ik het verbruik zo laag mogelijk kan houden, ondanks het gebruik van Proxmox.

Ik zie dat die PicoPSU-160-XT niet meer in pricewatch staat, maar op internet nog wel te vinden is. Gaat die er soms uit? De 150 versie is dan eigenlijk te licht, dus die heb ik dan liever niet.

Die Molex Mini-fit Jr vervangt dan dus die barrel?! Dan zou ik dus de 4 pin power mini DIN connector van XP Power (standaard connector daarvan) eraf moeten knippen en die erop knijpen/solderen? Raad je dat sowieso aan of is het vooral als je onder belasting een voltage dip krijgt?

[mrmrmr]

@Zeezicht De PicoPSU-160-XT is via Amazon verkrijgbaar. Het model zit gewoon in het assortiment van de Amerikaanse producent Mini-Box. De Nederlandse distributeur JPF voert dat model niet, maar het Duitse mini-pc.de wel. Die levert via Amazon. Een andere leverancier in Nederland is OnLogic.

Alle details over de kabels staan in dit bericht: mrmrmr in "Het grote zuinige server topic - deel 2".

Vermoedelijk past de 4 pin mini-DIN adapterkabel op de aansluiting van de XP Power. Het heeft in ieder geval dezelfde naam. Dit adapterkabeltje vervangt het adapter kabeltje dat met de PicoPSU-160-XT komt waaraan een barrel connector zit. Geen solderen nodig op deze manier. Als je geen electronicasoldeergereedschap hebt is deze DIN adapterkabel een alternatief. De rating is >9A (108W of meer). Dat is mager.

Het voordeel van solderen van kabel met Molex Mini Fit Jr is dat de Molex 215325-2042 kabel dik is en veel stroom (16A, 192W) aankan, en dat door het solderen er een rechtstreekse verbinding is tussen de 4 pin Molex van PicoPSU en de 4 pin Molex van de 12V adapter. Daarmee is er een connectiepunt minder, wat beter is voor het op peil houden van de spanning. Het solderen moet wel goed gebeuren met zuurvrij materiaal, krimpkousen, etc.

Ik verwacht dat de VES150PS12 de spanning tot 150W wel op peil weet te houden.

Links sinuss.nl voor Farnell (voor particulieren):
https://sinuss.nl/product...pos-rcpt-rcpt-300mm-molex
https://sinuss.nl/product...r-ac-dc-12v-125a-xp-power

[campr112]

Laatste cijfers voor de Zimaboard zijn binnen.

Hardware:
Ik heb de versie met 8Gbyte geheugen en 32Gbyte eMMC, hier heb ik nog 2x8Tbyte SSD aan verbonden. Er is 1 netwerk aansluiting in gebruik.
Het verbruik is incl voedings-verliezen. Er is geen monitor aangesloten.
Het verbruik is gemeten met een Eastron SDM120M: https://www.eastroneurope.com/products/view/sdm120modbus die aangesloten zit op de zimaboard met een RS485<->modbus adapter die wordt uitgelezen met modbus/node-red naar de influxdb en die op grafana zichtbaar is. In de specs van de SDM120M staat dat deze 2W gebruikt, ik neem aan dat dit excl is (met andere woorden, hij meet zijn eigen gebruik niet) anders zou ik ~0.42W gebruiken voor de ZimaBoard, dat lijkt me onrealistisch.

Software:
De ZimaBoard draait Debian 11 (met powertop optimalisaties in 'auto' mode).
InfluxDB
MariaDB
Node-red
NGINX reverse-proxy
netdata
Apache (met php)
Grafana
PLex (Films en Series, ~10Tbyte) (het streamen gaat nog niet super, werk nog aan het enablen van de i915 chipset onder PLex, dat gaat ook zorgen voor minder verbruik, en de mogelijkheid 4k content te kijken op een 1080 maat scherm.)
SMB server voor backups van laptop.
Timemachine server voor backup van laptop.
Deluge (met deluge-web)
Tor Proxy
Docker (nog geen pods/services draaiende)
ssh (incl fail2ban)
virtualbox (voor experimenten, wordt niet vaak gebruikt)
x11
elasticsearch (staat meestal uit, voor experimenten)
logstash (staat meestal uit)
Kibana (staat meestal uit)

Ik draai nu sinds 23/05/2022 07:30 -> 14/06/2022 07:00 en heb 1.28kWh gebruikt.
Dat geeft een gemiddeld gebruik over 527.5 uur van 2.42W
Vergelegen met mijn oude server, verbruik ongeveer 120W, Scheelt me dat ~800 euro bij een energieprijs van 0.78ec/kWh
Ik zou graag een RML maken voor de ZimaBoard, maar die staat nog niet op tweakers (en is nog niet verkrijgbaar, alleen pre-order).
Oude server:

#	Category	Product	Prijs	Subtotaal
1	Processors	HP E5-2630L v4 DL360 Gen9 Kit Tray	€ 0,-	€ 0,-
1	Moederborden	Supermicro X10SRM-TF	€ 0,-	€ 0,-
4	Interne harde schijven	Seagate Barracuda Compute 3,5", 4TB	€ 76,08	€ 304,32
1	Controllers	Adaptec 71605	€ 0,-	€ 0,-
1	Netwerkadapters	HP NC365T 4-port Ethernet Server Adapter	€ 83,55	€ 83,55
4	Solid state drives	WD Green SSD 2,5" V2 240GB	€ 30,18	€ 120,72
Bekijk collectie Importeer producten			Totaal	€ 508,59

[ Voor 73% gewijzigd door campr112 op 14-06-2022 08:57 . Reden: Verbruik SDM120M toegevoegd aan uitleg. En type RS486/RS485 ]

[Jazco2nd]

@campr112 wat een bizar laag verbruik zeg. Maar ik neem aan dat we dit moeten interpreteren als het verbruik van het bordje zelf? Want niet aan het stopcontact gemeten?

Ik ben wel benieuwd wat er gebeurd met een Fujitsu D3644 moederbord als je de TDP in de bios verlaagt naar 5W ofzo nu heb ik zelf de Core i3-9100 erop zitten dus volgens mij is dat geen optie.

Met 3x 2.5" 5TB Seagate schijven (in standby, geen spin) en 2 SATA SSDs en 1 NVME SSD, monitor via Displayport aangesloten en USB dongle aangesloten voor keyboard/muis + 1GB lan aangesloten kom ik niet lager dan:
7W.

In de bios heb ik de TDP op 30W staan, durfde niet lager, vreesde voor stabiliteit. Maar als ik de HDDs verwijder/vervang voor SSDs kan dat misschien wel..

[campr112]

@Jazco2nd dit is verbruik aan het stopcontact. Het loopt zo: Stopcontact->SDM120M->Stopcontact->Voeding->Zimaboard en dan nog een RS485 verbinding van de SDM120M naar de Zimaboard via een USB adapter.

En de SDM120M is gecertificeerd: MID: EN50470-1 & EN50470-3 Class B voor het meten van vermogen. Maar laten we eerlijk zijn, als je 'lspci' output dit is, is er niet veel voor nodig om het draaiend te houden:

code:

00:00.0 Host bridge: Intel Corporation Celeron N3350/Pentium N4200/Atom E3900 Series Host Bridge (rev 0b)
00:02.0 VGA compatible controller: Intel Corporation HD Graphics 500 (rev 0b)
00:0e.0 Audio device: Intel Corporation Celeron N3350/Pentium N4200/Atom E3900 Series Audio Cluster (rev 0b)
00:0f.0 Communication controller: Intel Corporation Celeron N3350/Pentium N4200/Atom E3900 Series Trusted Execution Engine (rev 0b)
00:12.0 SATA controller: Intel Corporation Celeron N3350/Pentium N4200/Atom E3900 Series SATA AHCI Controller (rev 0b)
00:13.0 PCI bridge: Intel Corporation Celeron N3350/Pentium N4200/Atom E3900 Series PCI Express Port A #1 (rev fb)
00:14.0 PCI bridge: Intel Corporation Celeron N3350/Pentium N4200/Atom E3900 Series PCI Express Port B #1 (rev fb)
00:14.1 PCI bridge: Intel Corporation Celeron N3350/Pentium N4200/Atom E3900 Series PCI Express Port B #2 (rev fb)
00:15.0 USB controller: Intel Corporation Celeron N3350/Pentium N4200/Atom E3900 Series USB xHCI (rev 0b)
00:1c.0 SD Host controller: Intel Corporation Celeron N3350/Pentium N4200/Atom E3900 Series eMMC Controller (rev 0b)
00:1f.0 ISA bridge: Intel Corporation Celeron N3350/Pentium N4200/Atom E3900 Series Low Pin Count Interface (rev 0b)
00:1f.1 SMBus: Intel Corporation Celeron N3350/Pentium N4200/Atom E3900 Series SMBus Controller (rev 0b)
02:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8111/8168/8411 PCI Express Gigabit Ethernet Controller (rev 15)
03:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8111/8168/8411 PCI Express Gigabit Ethernet Controller (rev 15)



Bus 002 Device 001: ID 1d6b:0003 Linux Foundation 3.0 root hub
Bus 001 Device 003: ID 10c4:ea60 Silicon Labs CP210x UART Bridge
Bus 001 Device 001: ID 1d6b:0002 Linux Foundation 2.0 root hub



campr@micro:~$ lscpu
Architecture:                    x86_64
CPU op-mode(s):                  32-bit, 64-bit
Byte Order:                      Little Endian
Address sizes:                   39 bits physical, 48 bits virtual
CPU(s):                          4
On-line CPU(s) list:             0-3
Thread(s) per core:              1
Core(s) per socket:              4
Socket(s):                       1
NUMA node(s):                    1
Vendor ID:                       GenuineIntel
CPU family:                      6
Model:                           92
Model name:                      Intel(R) Celeron(R) CPU N3450 @ 1.10GHz
Stepping:                        9
CPU MHz:                         878.860
CPU max MHz:                     2200.0000
CPU min MHz:                     800.0000
BogoMIPS:                        2188.80
Virtualization:                  VT-x
L1d cache:                       96 KiB
L1i cache:                       128 KiB
L2 cache:                        2 MiB
NUMA node0 CPU(s):               0-3
Vulnerability Itlb multihit:     Not affected
Vulnerability L1tf:              Not affected
Vulnerability Mds:               Not affected
Vulnerability Meltdown:          Not affected
Vulnerability Spec store bypass: Not affected
Vulnerability Spectre v1:        Mitigation; usercopy/swapgs barriers and __user pointer sanitization
Vulnerability Spectre v2:        Mitigation; Retpolines, IBPB conditional, IBRS_FW, STIBP disabled, RSB filling
Vulnerability Srbds:             Not affected
Vulnerability Tsx async abort:   Not affected
Flags:                           fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mm
                                 x fxsr sse sse2 ss ht tm pbe syscall nx pdpe1gb rdtscp lm constant_tsc art arch_perfmon peb
                                 s bts rep_good nopl xtopology tsc_reliable nonstop_tsc cpuid aperfmperf tsc_known_freq pni
                                 pclmulqdq dtes64 monitor ds_cpl vmx est tm2 ssse3 sdbg cx16 xtpr pdcm sse4_1 sse4_2 x2apic
                                 movbe popcnt tsc_deadline_timer aes xsave rdrand lahf_lm 3dnowprefetch cpuid_fault cat_l2 i
                                 brs ibpb stibp tpr_shadow vnmi flexpriority ept vpid ept_ad fsgsbase tsc_adjust smep erms m
                                 px rdt_a rdseed smap clflushopt intel_pt sha_ni xsaveopt xsavec xgetbv1 xsaves dtherm ida a
                                 rat pln pts md_clear arch_capabilities

[ Voor 36% gewijzigd door campr112 op 14-06-2022 09:53 ]

[dutchmartin]

@campr112 Het verbruik is heel erg netjes. Nu heeft het Zimaboard een pci-e aansluiting, dus vroeg ik mij of je daar ook een 4x sata adapter op aan kan sluiten en wat(t) het gebruik daarvan zou kunnen zijn. Want op die manier kan het een goedkoper alternatief zijn op een fujitsu moederbord met 6 sata aansluitingen.
Ben zelf namelijk nog op zoek naar een zuinig en betaalbaar moederbord met 6 sata aansluitingen waarop 6 2.5 inch 5TB schijven passen

[de.lesse]

@Zeezicht ter info; ik heb onlangs de i3-9100F getest met D3643-H en dit krijg ik onmogelijk aan de praat. (3 pcie grafische kaarten getest etc...) helaas. Met ander merk MB werkt dit feilloos. De i3-9100 (zonder F) werkt perfect in de D3643-H. (Bedoeling was 1 server te vervangen/bouwen, draai er nu 2 met 1/10e van verbruik)

[Jazco2nd]

@campr112 nog een vraagje, hoe ziet het geheel er nu uit? Heb je een case waar dit board en de SSDs in passen? Of ligt alles los, open op een tafel?

EDIT:
3e vraag alweer:
32GB eMMC voor je opslag, dat is op zich voldoende voor OS en wat docker containers (mits je je oude images/containers regelmatig opschoont). Maar is eMMC niet harstikke traag? Volgens mij gebruikt iedereen hier een NVME PCI Express 3.0 x2 of x4 SSD van 128-512GB. Ik had graag een M.2 slot gezien en een 3e SATA poort. Dat is volgens mij ideaal voor een mini (storage) server:

eMMC of NVME> OS, apps, services
SATA1> userdata, documents (tenzij je heel weinig hebt en dit op de NVME past)
SATA2> downloads, series/films
SATA3> backup disk van je userdata

[ Voor 74% gewijzigd door Jazco2nd op 14-06-2022 11:06 ]

[GioStyle]

-

[ Voor 113% gewijzigd door GioStyle op 29-10-2022 23:55 ]

[Zeezicht]

@de.lesse Die F-versie was ook niet de bedoeling inderdaad. Het wordt dus de normale, want ik heb geen losse videokaart nodig in die machine.

[mrmrmr]

@campr112 De meting is vergelijkbaar met eerdere metingresultaten van atom-achtigen (zie ook vorige topic, gepinde posts).

Ik heb nog een paar vragen:
• Gaat de server in slaapstand?
• Gaan de 4 schijven in spindown? Of misschien draaiden ze niet?
Er zitten alleen SSD's in?

Als je die informatie in het gepinde bericht kunt aanvullen, dan graag.

Een lijstje van wat er precies in/aan de server zit is handig. Wat er in de oude server zit is niet van belang.

[ Voor 17% gewijzigd door mrmrmr op 14-06-2022 12:09 ]

[campr112]

Jazco2nd schreef op dinsdag 14 juni 2022 @ 10:56:
@campr112 nog een vraagje, hoe ziet het geheel er nu uit? Heb je een case waar dit board en de SSDs in passen? Of ligt alles los, open op een tafel?

Wat zit er allemaal in een Zimaboard? Niks. Ik heb de zimaboard en 2 'externe' 2.5" 8Tbyte SSDs (van die QVO dingen dingen van Samsung pricewatch: Samsung 870 QVO 8TB ). That's all she wrote.


Ja, er is een compatible SATA board met 6 aansluiting: https://shop.zimaboard.co...i-fis-ncq-marvell-chipset Hoeveel "W" dat toevoegd (en de extra schijven natuurlijk), geen idee.

Ik heb hem op dit moment nog op tafel liggen, maar hij zal in de meterkast opgehangen worden met wat beugels die ik ga 3D printen. Ik ga ook mijn andere infrastructuur (switch, Access points) aan de SDM120M hangen en op termijn ook achter een 12V UPS hangen, dus er gaat wat meer informatie komen over waar mijn stroom heengaat (qua infra). Ik zal wel even een shot maken, zodra die in de meterkast hangt.

Voor het OS is eMMC voldoende, de databases en docker containers draai ik op de SSDs (dus via de SATA poorten aangesloten, extern niet intern).

En waarom zou je van NVME Willen booten? Je kan gewoon je kernel laden van je eMMC en de rest van je bootproces doen via de NVME (root fiilesysteem enzo), dus nergens voor nodig dat ie van NVME kan booten. Mijn ervaring tot nu toe is dat de eMMC voldoende snel is voor het OS, en alle andere dingen maak ik via een symlink (niet soft) via de SSD benaderbaar. Scheelt ook schrijf-cycli op de eMMC. Dus docker, /var/log/, databases enz enz. Is wel even wat werk, maar daar doen we het voor toch, niet omdat het allemaal click/klack/klaar is.

Mijn plan is om wat simpele SATA poorten toe te voegen en voor 4x 8Tbyte en 1x 1Tbyte aan opslag te gaan, en via een scriptje een 1Tbyte schijf te gebruiken voor backups (dus iedere avond mounten, data copieren, unmounten, databases, laptop backups enz enz).

Geen ondersteuning voor 3.5" hdd's. Dat is jammer...

Tuurlijk wel, net zoveel ondersteuning als voor 2.5" disks.. Er zijn twee SATA poorten, dus 'hang maar los' je moet ze alleen wel even 'monteren'. Maar daar zijn genoeg mogelijkheden voor, zowel 2.5" als 3.5" kan je gewoon met een paar beugels in de meterkast ophangen. Komt goed :-)

Slaapstand? Nee. Hij 'throttled' wel naar beneden qua frequentie, maar het OS blijft gewoon draaien. Dus gewoon voor SSH logins beschikbaar.

Er zitten alleen SSD's in? Er zit niks 'in' daar is de kast te klein voor:

[ Voor 64% gewijzigd door campr112 op 14-06-2022 12:40 . Reden: Spelling. ]

[Jazco2nd]

campr112 schreef op dinsdag 14 juni 2022 @ 12:24:
[...]

Voor het OS is eMMC voldoende, de databases en docker containers draai ik op de SSDs (dus via de SATA poorten aangesloten, extern niet intern).

En waarom zou je van NVME Willen booten? Je kan gewoon je kernel laden van je eMMC en de rest van je bootproces doen via de NVME (root fiilesysteem enzo), dus nergens voor nodig dat ie van NVME kan booten. Mijn ervaring tot nu toe is dat de eMMC voldoende snel is voor het OS, en alle andere dingen maak ik via een symlink (niet soft) via de SSD benaderbaar. Scheelt ook schrijf-cycli op de eMMC. Dus docker, /var/log/, databases enz enz. Is wel even wat werk, maar daar doen we het voor toch, niet omdat het allemaal click/klack/klaar is.

OK dit snap ik, lijkt me een goede oplossing om de 32GB eMMC te benutten.

Maar.. als je toch al een SATA drive gebruikt voor de databases & containers (wat inderdaad logisch is), waarom dan uberhaupt moeite doen om alles te symlinken? Waarom dan niet gewoon alles op SATA? Puur om 32GB te besparen en de eMMC voor iets in te zetten?

beide zullen toch altijd stroom gebruiken in idle toestand, zowel eMMC als de SATA drive waar de applicaties en databases en services op draaien.


Ik zie trouwens dat ze wat leuke accesoires hebben:
- een 2x SATA Y cable, kan je 2 SSDs of 2 2.5" HDDs aansluiten en maar 1 SATA power poort gebruiken. Scheelt weer een kabeltje.
- Een PCI-E expansion om 2x M.2 PCI-Express SSDs aan te sluiten.
- 2.5" HDD stands. Geen idee hoe je dit aan de Zima bevestigd en hoe het eruit ziet.

Dat is dan ook het enige nadeel dat ik zie: er is geen case waar je alles in kan doen, dus je HDDs/SSDs/expansions hangen er los aan vast.

[ Voor 16% gewijzigd door Jazco2nd op 14-06-2022 12:56 ]

[GioStyle]

-

[ Voor 102% gewijzigd door GioStyle op 29-10-2022 23:55 ]

[campr112]

GioStyle schreef op dinsdag 14 juni 2022 @ 13:08:
[...]


Ik zat te kijken bij accessoires: een SATA Y-cable om 2 ssd's/hdd's aan te sluiten en daar staat expliciet dat 3.5" hdd's niet zijn ondersteund. Ik vermoed dus dat het bordje niet genoeg stroom kan leveren?


[...]


Overigens zie ik het bordje wel als een kandidaat om mijn (backup) NAS te bouwen.

De voeding is 36W (12V 3A), dus mogelijk dat de 5V step-down converter niet genoeg vermogen levert voor een spin-up?

Ik heb zelf een sata power-splitter gekocht, vooralsnog werkt dat goed voor de 2xSSD die ik nu heb aangesloten. Voor de extra SSDs heb ik al een voeding geregeld (12V 2A, 5V 3A naar Molex, of zoiets).

Vergis je niet, dit is idd geen NAS met een 'mooie' behuizing, drives zijn extern, alles hangt er beetje 'losjes' bij.

Waar ik het vooral voor heb gekocht is het (zeer) lage vermogensgebruikt.

Maar.. als je toch al een SATA drive gebruikt voor de databases & containers (wat inderdaad logisch is), waarom dan uberhaupt moeite doen om alles te symlinken? Waarom dan niet gewoon alles op SATA? Puur om 32GB te besparen en de eMMC voor iets in te zetten?

Ach, omdat ik graag alles gebruik wat er beschikbaar wordt gesteld.

current can support the power consumption of at least two 2.5-inch HDDs.

Dan lijkt me wel dat je ook 1x 3.5" kan draaien. Want je hebt natuurlijk ook 2.5" disks in 15,000 toeren toch? ;-)

[ Voor 22% gewijzigd door campr112 op 14-06-2022 13:47 ]

[campr112]

Zat trouwens nog te denken, hij kan _nog_zuiniger als jw wat rekencapaciteit/geheugen kan missen. De Zimaboard bestaat in twee varianten:

• ZimaBoard 216: Dual-core, 1.1 GHz / 2.4 GHz Intel Celeron N3350 processor; 12 EU Intel HD graphics 500 @ 200 MHz / 650 MHz; 6W TDP
• ZimaBoard 832: Quad-core, 1.1 GHz / 2.2 GHz Intel Celeron N3450 processor; 12 EU Intel HD graphics 500 @ 200 MHz / 700 MHz; 6W TDP

Ik denk dat de 216 variant wel onder de 2W uit kan komen. Wat eigenlijk gekte is voor iets met een Intel processor met 2xSATA en een PCIe socket.
Ik zou even op moeten zoeken vat het gebruik is van 8Gbyte LPDDR-4 en of het gebruik van 2Gbyte LPDDR-4 0.4W lager ligt (zou kunnen dat het niet zo is). En natuurlijk 2 cores minder, dat zou echt wel moeten kunnen lukken, die 0.4W besparing.
Maar 2 SATA poorten voor 1W/poort, dat is echt wel 'gekte'.

[ Voor 5% gewijzigd door campr112 op 14-06-2022 14:25 ]

[Ricofizz]

Ben van plan om een Zuinige server te bouwen, op het moment draai ik Unraid met mijn oude i7 3770 desktop.
Deze server word voornamelijk gebruikt voor fileservices en een dockeromgeving (*arr stack, jellyfin, deluge, sync, joplin, en af en toe een game servertje)

Heb de volgende lijstjes aangemaakt, mijn vraag waar jullie verbeteringen inzien en of het het waard is om naar DDR5 te gaan i.p.v. DDR4.

DDR4 Server:

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Pentium Gold G6400 Boxed	€ 59,70	€ 59,70
1	Moederborden	Gigabyte H510M S2H V2	€ 69,90	€ 69,90
1	Interne harde schijven	Toshiba MG09 (SATA, Standard, 512e), 18TB	€ 305,-	€ 305,-
1	Behuizingen	Fractal Design Node 304 Zwart	€ 93,78	€ 93,78
1	Processorkoeling	Arctic Alpine 12 Passive	€ 10,-	€ 10,-
1	Geheugen intern	Crucial CT16G4DFRA266	€ 59,90	€ 59,90
1	Voedingen	Corsair RM550x (2021) Zwart	€ 105,05	€ 105,05
Bekijk collectie Importeer producten			Totaal	€ 703,33

DDR5 Server:

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Pentium Gold G7400 Boxed	€ 74,73	€ 74,73
1	Moederborden	ASUS ROG Strix B660-I Gaming WiFi	€ 211,39	€ 211,39
1	Interne harde schijven	Toshiba MG09 (SATA, Standard, 512e), 18TB	€ 305,-	€ 305,-
1	Behuizingen	Fractal Design Node 304 Zwart	€ 93,78	€ 93,78
1	Processorkoeling	Arctic Alpine 12 Passive	€ 10,-	€ 10,-
1	Geheugen intern	Kingston ValueRAM KVR48U40BS8-16	€ 85,70	€ 85,70
1	Voedingen	Corsair RM550x (2021) Zwart	€ 105,05	€ 105,05
Bekijk collectie Importeer producten			Totaal	€ 885,65

[ Voor 0% gewijzigd door Ricofizz op 15-06-2022 15:36 . Reden: Moederbord uit het DDR5 lijstje was niet DDR5 compatible |:( ]

[campr112]

Zou bijna een Zimaboard 216 gaan bestellen om te kijken wat er kan met een gelimeteerde core-count en geheugen-foorprint. Maar anderzijds is het wel een hoop geld ($120 plus verzedkosten en BTW..) voor een experimentje in de lage-W regionen.

[GioStyle]

-

[ Voor 156% gewijzigd door GioStyle op 29-10-2022 23:55 ]

[mrmrmr]

@Ricofizz Voor dit systeem is een PicoPSU-90 met 12V adapter beter geschikt dan de Corsair RM550x (2021). Dat komt vooral omdat het idle verbruik relatief laag kan blijven (rondom ~11W). Lager als de schijf in spindown gaat.

Als je van plan bent het aantal disks sterk uit te breiden zodat idle altijd hoog ligt, dan is deze Corsair wel een geschikte keuze.

Een Coffee Lake Fujitsu D3643-H, D3642-B of D3644-B is nog zuiniger dan deze moederborden. Een Pentium G5400 is momenteel verkrijgbaar bij Azerty en een D3644-B is ook beschikbaar.

DDR5 kan in theorie voordelen hebben, maar vooralsnog heb ik daar geen bewijs van gezien (van hoog verbruik van pre-productie DDR5 wel). Er komt een Alder Lake moederbord van Kontron dat DDR5 heeft.

Ten opzichte van een Coffee Lake Fujitsu moederbord schat ik in dat er netto geen voordeel is in DDR5. Dat moederbord doet namelijk de energieverzorging en is daar efficiënt in.

[sanderb2001]

Vraagje,

Ik lees al een tijdje hier mee, maar door de huidige energieprijzen is het misschien toch interessant wat te doen aan me huidige server, deze gebruikt ongeveer 30 Watt in idle met de HDD in spindown.
Ik draai Truenas Core met een Jail Nextcloud, de huidige hardware in niet noemenswaardig, wel heb ik een PicoPSU, verder 2x ssd, en 2x 3,5”HDD (2Tb)

Nu begrijp ik dat de Fujitsu moederborden redelijk zuinig zijn, omdat ik neig naar het een en andere “future-proof” te maken zou ik dan voor de Fujitsu moederborden gaan met 6x sata. Dit zijn de D3642-B en D3644-B. waar ik mee zit is welke van de twee moet ik kiezen? De D3644-B heeft ECC geheugen? Moet ik dan ander geheugen kopen of kan daar ieder normaal DDR4 geheugen in?

Nu heb ik ook nog een desktop waarmee ik weinig doe met een Xeon E3 1240 v5? Kan ik hier nog iets mee met een van die twee moeder borden? Ze hebben de zelfde socket? Maar is wel of niet compatible afhankelijk van de chipset?
Of is het toch beter een i3 te kopen omdat deze ook bewezen zuinig zijn?

[mrmrmr]

@sanderb2001

Dit zijn de D3642-B en D3644-B. waar ik mee zit is welke van de twee moet ik kiezen? De D3644-B heeft ECC geheugen?

De D3644-B met C246 chipset ondersteunt ECC geheugen, de D3642-B (Q chipset) ondersteunt geen ECC geheugen.

Moet ik dan ander geheugen kopen of kan daar ieder normaal DDR4 geheugen in?

Er past zowel ECC als non-ECC geheugen in de D3644-B. De D3642-B ondersteunt alleen non-ECC.

Niet ieder geheugen is geschikt, wel geheugen dat JEDEC DDR4-2400 of DDR4-2666 ondersteunt in SPD. Gaming of overclock geheugen is meestal niet verstandig omdat het terugvalt naar een lager niveau (typisch 2133 MT/s) en mogelijk minder zuinig is doordat het gericht is performance. XMP wordt niet ondersteund op dit professionele bord.

Nu heb ik ook nog een desktop waarmee ik weinig doe met een Xeon E3 1240 v5? Kan ik hier nog iets mee met een van die twee moeder borden? Ze hebben de zelfde socket? Maar is wel of niet compatible afhankelijk van de chipset?

Nee, dat werkt niet, de E3 1240 v5 is van de Skylake generatie. Deze E3 past wel in een Fujitsu D3417-B1 (let op die laatste '1'). Die processor heeft een losse grafische kaart nodig als het geen G variant is.

De processorondersteuningslijst van Kontron is hier te vinden.

Of is het toch beter een i3 te kopen omdat deze ook bewezen zuinig zijn?

Ja, de Coffee Lake Pentium Gold G5400 of i3-9100 past bij een D3644-B of D3642-B.

Als je een Fujitsu D3417-B1 heel goedkoop op de kop kunt tikken, dan zou je wel kunnen proberen met jouw Xeon. Maar het ligt niet zo voor de hand om die route op te gaan. Ik verwacht niet dat er veel van in omloop zijn.

Er worden overigens opvolgers verwacht voor Alder Lake processoren, maar die hebben maximaal 4x SATA.

[GioStyle]

-

[ Voor 100% gewijzigd door GioStyle op 29-10-2022 23:55 ]

[Ricofizz]

mrmrmr schreef op donderdag 16 juni 2022 @ 00:25:
@Ricofizz Voor dit systeem is een PicoPSU-90 met 12V adapter beter geschikt dan de Corsair RM550x (2021). Dat komt vooral omdat het idle verbruik relatief laag kan blijven (rondom ~11W). Lager als de schijf in spindown gaat.

Als je van plan bent het aantal disks sterk uit te breiden zodat idle altijd hoog ligt, dan is deze Corsair wel een geschikte keuze.

Ik heb nog 3x4TB & 1x8TB liggen in een unraid server, ik wil de optie nog behouden.

Een Coffee Lake Fujitsu D3643-H, D3642-B of D3644-B is nog zuiniger dan deze moederborden. Een Pentium G5400 is momenteel verkrijgbaar bij Azerty en een D3644-B is ook beschikbaar.

DDR5 kan in theorie voordelen hebben, maar vooralsnog heb ik daar geen bewijs van gezien (van hoog verbruik van pre-productie DDR5 wel). Er komt een Alder Lake moederbord van Kontron dat DDR5 heeft.

Ten opzichte van een Coffee Lake Fujitsu moederbord schat ik in dat er netto geen voordeel is in DDR5. Dat moederbord doet namelijk de energieverzorging en is daar efficiënt in.

Een goede suggestie en alhoewel ik dit normaalgesproken zou nemen zal ik voor de DDR5 optie gaan, dit omdat ik de turbo zal aanpassen, toch graag 2,5 GBe en graag een kleinere form factor wil en de ITX route ga i.p.v. mATX. (Al is er natuurlijk altijd de volgende USB adapter optie voor ethernet: QNAP USB 3 > 5GBe)
Wil het compact, krachtig & portable houden

[sanderb2001]

Thnx voor de reacties.
Dan ga ik opzoek naar een D3644-B of D3642-B.

Truenas Scale was ik al mee begonnen om wat te experimenteren. Dit ga ik zeker op de nieuwe setup installeren

[Duskwither]

GioStyle schreef op donderdag 16 juni 2022 @ 17:25:
@sanderb2001

Misschien kan je om energie te besparen eens proberen om in plaats van TrueNAS Core TrueNAS Scale te draaien. De eerste is gebaseerd op FreeBSD, de tweede op Debian Linux. Uit eigen ervaring weet ik dat Linux over het algemeen wat zuiniger is in vergelijking met FreeBSD.

Ik heb het nog niet gemeten, maar aan het cpu gebruik te zien lijkt core minder belasting op te leveren. De kubernetes processen van scale zitten (op mijn vm) continu boven 10% cpu belasting terwijl core wel lijkt te kunnen idlen.

1 ervaring is uiteraard niet representatief, maar het lijkt me idd verstandig beide even te proberen. Ik doe de aanname dat de zfs pools in beide te importeren zijn.

[Mars Warrior]

Duskwither schreef op vrijdag 17 juni 2022 @ 12:44:
[...]
Ik heb het nog niet gemeten, maar aan het cpu gebruik te zien lijkt core minder belasting op te leveren. De kubernetes processen van scale zitten (op mijn vm) continu boven 10% cpu belasting terwijl core wel lijkt te kunnen idlen.

1 ervaring is uiteraard niet representatief, maar het lijkt me idd verstandig beide even te proberen. Ik doe de aanname dat de zfs pools in beide te importeren zijn.

Die ruim 10% is ‘gewoon’ Kubernetes. Daarmee kun je onmogelijk een zuinige server bouwen

Gooi er nog een zooi aan eigen containers vij, en het zal enkel nog erger worden…

[heuvelman]

Heb ik eindelijk mij Kontron D3644-b en heb er een m2 ssd WD Blue SSD M.2 (3D v-nand (TLC)) 250GB aan toegevoegd maar deze wordt niet herkend.
Kontron board geeft bij de diagostics E104-1-1002 als error code terug.
Ik heb bij Kontron of Fujitsu niet een error lijst gevonden met uitleg. Jullie wel?

Als ik de SSD op een andere MB zet wordt die gewoon herkend waarbij ik de SMART statistics uit kan lezen en schijf kan formateren.

Heeft er iemand nog een idee wat ik kan proberen, voordat ik het board terug stuur naar SI computers? Mijn voorlopige conclusie is dat de M.2 connector niet goed. En helaas hebben ze die daar niet meer op voorraad. . Of mis ik nog wat bios instellingen.

O ja, een SATA SSD via de sata0 connector werkt zoals het hoort.

[dcm360]

@heuvelman Als ik de specificaties goed lees, is dat een SATA-ssd (in M.2-formaat), en doet het moederbord alleen aan PCIe-ssd's in het M.2-slot. Deze combinatie zal dan niet werken.

[heuvelman]

dcm360 schreef op zaterdag 18 juni 2022 @ 13:34:
@heuvelman Als ik de specificaties goed lees, is dat een SATA-ssd (in M.2-formaat), en doet het moederbord alleen aan PCIe-ssd's in het M.2-slot. Deze combinatie zal dan niet werken.

Aha. Dat klinkt minder vervelend. Dat had ik vergeten te checken. Dank je.

pricewatch: WD Blue SN550 250GB (WDS250G2B0C)