/u/42845/crop6463ab3467c0d_cropped.png?f=community)
Goed punt. Verbruik is max 84W per server:
[...]
Vermeld dan wel even hóe zuinig ze zijn.
/u/4022/crop5abf5052151cb_cropped.png?f=community)
ChangWang CW56-58
:fill(white):strip_exif()/f/image/wvV82k2OuH3lDGGL6hDP4FTY.png?f=user_large)
Achtergrond
Met de huidige EU energie crisis (+komende CO2 tax) en om wat hitte en herrie te verwijderen, ben ik opzoek gegaan naar een klein en zuinig machientje dat de 8 VMs die ik altijd wil laten draaien kan hosten.Ik heb twee grote dual AMD EPYC Milan hosts met een lading NVMe disks en GPUs en een SMB 10Gbit switch. Bij voorkeur zou het systeem 8-16 Zen3 cores (voor vMotion), 64-128GB RAM en 2-4 2.5-10Gbit ESXi 8 compatible NICs hebben.
Toen ik de CW56-58 zag, was mijn interesse gewekt, zou dit mijn ultieme geluid/hitte/stroom safer worden waarmee ik mijn big boys 90% van de tijd mee in standby kon zetten?
CPU
De CW56-58 komt met opties voor twee AMD Cezanne U (Zen3, Ryzen 5000 Mobile) en een Barcelo refresh CPU:| CPU | AMD Ryzen™ 5 5600U | AMD Ryzen™ 7 5800U | AMD Ryzen™ 7 5825U |
| Cores | 6 | 8 | 8 |
| Threads | 12 | 16 | 16 |
| Base Clock | 2.3GHz | 1.9GHz | 2.0GHz |
| Max Boost | 4.2GHz | 4.4GHz | 4.5GHz |
| Graphics Cores | 7 | 8 | 8 |
| Graphics Frequency | 1800MHz | 2000MHz | 2000MHz |
Ik heb gekozen voor de Barcelo refresh 5825U gezien het kleine prijsverschil.
Wat erg interessant is aan al deze CPUs is dat ze een enkele Core Chiplet Die (CCD) hebben, dus bij de 5825U delen alle acht cores een enkele L3 cache. Dus als je een 8 vCPU VM maakt, dan kunnen alle acht cores samenwerken in plaats van twee groepen van vier..
code:
1
2
3
4
5
6
| sched-stats -t ncpus 16 PCPUs 8 cores 1 LLCs 1 packages 1 NUMA nodes |
Aanbevolen VM instelling is om de cores per socket gelijk te maken aan het aantal vCPUs.
De CPUs hebben 16 bruikbare PCIe 3.0 lanes.
Systeem
De behuizing voelt veel steviger dan de foto's laten zien. Het voelt luxueus aan, alles is dik en zwaar en volledig van aluminium, bijna zoals de betere fanless cases alsof elke kant een heatsink is. De behuizing is 16.8cm breed, 13.17cm diep en 6.3cm hoog inclusief de 3mm voetjes.:no_upscale():strip_icc():fill(white):strip_exif()/f/image/w69gcshayLcleTOna60qJP5x.jpg?f=user_large)
De voorkant van de behuizing heeft een power button, CMOS reset pinhole, een full-featured Type-C USB poort met data/display/reverse charging, twee Type A USB2.0 en twee Type-A USB3.1 poorten, plus een Realtek RT5170 SD cardreader. Het is vreemd dat de native USB3.2 gen 2 van de CPU niet gebruikt wordt, de Type A poorten komen waarschijnlijk van de chipset. De laatste BIOS heeft zelfs een UEFI module om te kunnen booten van de cardreader. Nou zou ik een SD kaart niet aanraden om ESXi van te booten, er is is niets mis met het installeren van ESXi vanaf SD.
De bovenkant van de behuizingen heeft een intake voor wat ChangWang een coppertube turbine noemt, een blower fan. De CPU zit aan de achterzijde van het moederbord en zit onderste boven in de kast.
:fill(white):strip_exif()/f/image/QoXVIwOXtu9HmpMzlurZQQtR.png?f=user_large)
Een leuk detail is dat alle fan openingen een mesh achtige tape hebben als stof filter.
:no_upscale():strip_icc():fill(white):strip_exif()/f/image/cx73DvOkxUESp7fVC98NbEJp.jpg?f=user_large)
De achterkant van de unit heeft een HDMI en DisplayPort, vier RJ45 Intel I226-V 2.5Gbit poorten, een DC input en een terminal voor aarding.
:no_upscale():strip_icc():fill(white):strip_exif()/f/image/1fTWCFc9GV7e5zQ12A8skiaa.jpg?f=user_large)
De onderkant heeft rubberen voetjes en een PWM 80mm fan, het RPM signaal van deze fan is niet gebruikt (maar drie aders van de vier pinnen zijn verbonden), het systeem gebruikt het RPM signaal van de blowerfan.
:no_upscale():strip_icc():fill(white):strip_exif()/f/image/TNle72Na2f5R9nplIvLJ4m7i.jpg?f=user_large)
Je kunt de fan vervangen door een 2.5" SATA drive.
:no_upscale():strip_icc():fill(white):strip_exif()/f/image/m5mihYtAbCQ6sxn08DW49EBT.jpg?f=user_large)
Hiervoor zijn schroeven en een kabel meegeleverd.
:fill(white):strip_exif()/f/image/mxyaVbIIH58UUPpbqkQLnm6x.png?f=user_large)
Ik zou het echter niet aanraden, de fan geeft welkome airflow aan de bovenzijde van het moederbord.
:no_upscale():strip_icc():fill(white):strip_exif()/f/image/Npb0Eqxqn6kSzO0CyNQObpya.jpg?f=user_large)
Nu we het toch over koeling hebben, ik zou absoluut de thermalpaste van de blowerfan vervangen. ChangWang gebruikt Xinyue's 7921, maar zelfs nieuw werkt het voor geen meter. Het vervangen met Noctua NT-H1 (zou NT-H2 aanraden, maar die had ik niet meer) gaf een verschil van 12 graden, wat over tijd alleen maar groter kan worden. Je kunt de koeler verwijderen met de vier zwarte schroeven op het moederbord, twee tussen de M.2 drives en twee onder de SODIMMs. Voor extra koeling is het mogelijk om thermische geleidende stickers van 1mm tussen de blowerfan en de behuizing te plakken.
Je kunt in de BIOS kiezen (Advanced->AMD CBS->NBIO->SMU->System Configuration) tussen 10/15(standaard)/25/35 Watt, blijkbaar hadden oudere versies van het BIOS ook 45W en 54W, maar dit is verwijderd.
:fill(white):strip_exif()/f/image/U98v3M3GbFb8Wv4TIBZwtWL1.png?f=user_large)
Ik heb een vermoeden waarom dit is, met de standaard thermalpaste is zelfs 35W al niet te doen. Ik moest mijn test afbreken toen de CPU de 99 graden aantikte en nog steeds snel steeg, aangezien ik niet wilde weten wat er bij de CPU max van 105 graden zou gebeuren.
Met de nieuwe paste werkte alle standen prima, zelfs met een uur CPU stressen.
| BIOS Setting | 10W | 15W (standaard) | 25W | 35W |
| Short TDP Limit | 18W | 30W | 48W | 60W |
| Total System Power Short* | 39W | 55W | 84W | 120W |
| All Core Turbo Short | 2.7GHz | 3.1GHz | 3.8GHz | 4GHz |
| Short Time | 10s | 3.5m | 5m | 8m |
| Short Temp | 70° C | 72° C | 76° C | 83° C |
| Long TDP Limit | 15W | 25W | 37.5W | 42W |
| Total System Power Long* | 33W | 35W | 55W | 80W |
| All Core Turbo Long | 2.4GHz | 2.4GHz | 3.1GHz | 3.7GHz |
| Long Temp | 64° C | 64° C | 67° C | 77° C |
Ik heb gekozen om voor 25 Watt te gaan, dit geeft me een sustained All Core Turbo van ongeveer dezelde snelheid als mijn dual AMD EPYC 7713 (3.1GHz), een 5 minutes short All Core Turbo van 3.8GHz, single core Turbo van 4.5GHz en slechts 55W bij langere zware load, terwijl het idle stroomverbruik (10W in Windows 11 met 1 NIC actief) gelijk is en ik comfortabel ben met de temperaturen. 35 Watt zou ik niet aanraden, met de standaard thermalpaste werkt het niet goed en het piek stroomverbruik ligt boven de rating van de (waarschijnlijk niet al te beste) powersupply.
:no_upscale():strip_icc():fill(white):strip_exif()/f/image/4DgyL2b3EUqrYw85eJDs1lBK.jpg?f=user_large)
Onder ESXi zal het idle stroomverbruik waarschijnlijk een paar Watt omhoog gaan en zonder scherm kan de frequency wat omhoog gaan omdat er wat meer package power voor de CPU overblijft.
De unit is stil wanneer hij idle is, ongeveer 45dB op kort piek vermogen zo'n 40dB bij lange maximale belasting, gemeten op 50cm afstand. Nou zou je kunnen denken dat dit vrij stil is, maar omdat het geluid vrij hoog is klinkt het harder. Prima voor in de meterkast, maar zou hem niet op mijn bureau willen hebben als het systeem niet idle draait.
De meeste Chinese fabrikanten geven geen BIOS updates, maar ChangWang doet dit wel! Mijn systeem kwam met de laatste 0.22 BIOS van 9 Oktober 2022 en draait microcode 0x0a50000d, dit lijkt de laatste AGESA V2 PI 1.2.0.7 te zijn.
Memory/Storage
:no_upscale():strip_icc():fill(white):strip_exif()/f/image/LH8rGySgH8OOKkpN4pH6xihg.jpg?f=user_large)
Ik heb twee Crucial CT32G4SFD832A 32GB DDR4-3200 CL22 DIMMs gebruikt, voor een totaal van 64GB, het maximum van dit systeem. Standaard gaat er 1GB naar graphics. Omdat de ESXi console dit niet nodig heeft en mijn workload het wel kan gebruiken heb ik aangepast naar 64MB in de BIOS (Advanced->AMD CBS->NBIO->SMU->GFX Configuration->UMA Frame buffer size). Ik heb een paar rondes memtest x86 gedaan voor ik ESXi ben gaan installeren, wat een pass gaf.
De M.2 sloten hebben alleen schroefgaten voor 2280 drives, dus zorg dat je geen 110 of 60mm drives koopt, maar haal 80mm drives. Er was een Black Friday deal op de Samsung 980 Pro 2TB, ik heb gekozen voor twee met heatsinks, omdat in systemen zoals dit de NVMe controllers snel te heet worden. Zoals je in de foto kunt zien passen deze bijna niet, de bovenste drive zit onder een minuscule hoek om de ongebruikte ATX power input heen. Een heatsink die ook maar iets, zelfs een haar, breder of hoger is gaat niet passen. De 980 Pro is PCIe 4.0, terwijl het systeem 3.0 is, maar de hogere snelheden zijn altijd mooi meegenomen mocht ik in de toekomst het systeem vervangen.
ESXi
ESXi 8.0 installeren is een eitje aangezien alles in het systeem compatible is. Secure boot werkt gewoon en zelfs voor de NICs hoef je niet meer de Community Networking Driver Fling te installeren.:fill(white):strip_exif()/f/image/FKUAIATm73c2gocUY8TL6tNL.png?f=user_large)
Idle verbuik zonder VMs in ESXi is 15 Watt, met een enkele idle VM is het 16 Watt. De sustained All Core boost frequency is 3375MHz met een verbruik van 55 Watts en de korte boost frequency is 3900MHz met een verbruik van 84 Watts. Single Core boost is 4500MHz.
:fill(white):strip_exif()/f/image/pQxuZ4emoBxtITsyoS85OLVT.png?f=user_large)
De volgorde van de NICs is gelijk aan de print op de case en de NICs werken op zowel 2.5 als 1Gbit switch poorten.
:fill(white):strip_exif()/f/image/iDFCUxQ1m8IVeZjzj4P4n1JF.png?f=user_large)
Wat niet werkt is TPM, omdat fTPM alleen een CRB interface heeft en niet TIS/FIFO wat momenteel de enige ondersteunde TPM 2.0 interface van ESXi is. TPM uitzetten in de BIOS (Advanced->Trusted Computing->Security Device Support->Disabled) verwijderd de waarschuwingen en foutmeldingen. Je kunt nog steeds vTPM gebruiken zonder fysieke TPM.
Wat ook niet werkt is vMotion van AMD EPYC Milan zonder EVC, omdat Process-context identifiers (PCID) niet beschikbaar is, vreemd aangezien dit een Zen 3 CPU feature zou moeten zijn. Mogelijk niet op mobile CPU, of misschien een foutje in de firmware? Maar met EVC op Zen 2 (AMD Rome heeft geen PCID) voor beide hosts werkt vMotion van/naar AMD Milan prima.
:fill(white):strip_exif()/f/image/v8kxqZrz7zlChSOq8ckGLYmH.png?f=user_large)
:fill(white):strip_exif()/f/image/L0bmmAXjQKEUFsttxlqHsJ88.png?f=user_large)
Behalve die twee dingen werkt alles vlekkeloos. De disk performance in een VM is geweldig met meer dan 360K IOPs random write per SSD.
:fill(white):strip_exif()/f/image/nsdQwr4zT9iyxYJXNpNfGUTO.png?f=user_large)
Slot
Beide Milan hosts en de 10Gbit switch verbruiken idle ongeveer 700 Watt. Zelfs met 1 host in standby, hebben we het nog over 400 Watt.:fill(white):strip_exif()/f/image/VDdnSd1MT2qA5VX3SLHly5YC.png?f=user_large)
Met beide hosts in standby, de 10Gbit SMB switch uit en een consumer 10Gbit switch, is het verbruik 45 Watt.
:fill(white):strip_exif()/f/image/S1dtFwQt265E40t4IPfFBe34.png?f=user_large)
Het gemiddelde verbruik over 24 uur van de CW56-58 met 8 draaiende VMs (total average usage is 970MHz) is 21W. (Zowel de Cresta 9162 als een VoltCraft SEM6000 komen op 21W.)
En wanneer ik iets moet benchmarken of GPUs wil gebruiken kan ik de hosts aanzetten (of in standby zetten) vanuit vCenter. Terwijl ik voor kleinere taken de CW56-58 kan gebruiken.
:fill(white):strip_exif()/f/image/8uUoDQu9I0IWOo4ZGkSESH9f.png?f=user_large)
In totaal bespaar ik zo 2600kWh per jaar en met de huidige stroomprijzen is een systeem van 1000 euro in een paar maanden volledig terugverdient. Eventueel zou ik de grote jongens volledig van de stroom kunnen halen (geen IPMI) en nog eens 250kWh besparen.
Edit: Ik kreeg de vraag, hoe koop je dat?
https://a.aliexpress.com/_msBzT1M of zoek naar AMD 5825U i226-v op AliExpress.
En dan kiezen voor:
- No RAM, no storage
- EU Plug
- 5825U
Bijvoorbeeld:
| # | Category | Product | Prijs | Subtotaal |
| 1 | Geheugen intern | G.Skill Ripjaws 4 F4-3200C22D-64GRS | € 159,96 | € 159,96 |
| 2 | Solid state drives | Samsung 980 Pro (met heatsink) 2TB | € 254,99 | € 509,98 |
| 1 | Overclocking | Noctua NT-H2 3,5 gram | € 9,72 | € 9,72 |
| Totaal | € 679,66 | |||
[ Voor 255% gewijzigd door |sWORDs| op 25-12-2022 11:42 ]
Te Koop:24 Core Intel Upgradeset
/u/11437/wandcontactdoos.png?f=community)
Dat is een ontzettend interessant doosje... Ik heb een minder uitgebreide setup dan jij (Supermicro bord en E5-1620 v2), maar dat trekt ook minimaal 70W (of 600+ kWh). Als ik dat met 50W omlaag weet te brengen dan bespaar ik per jaar € 350 aan stroom 
Dat is een voordeel van de hoge stroomprijs, je hebt nieuwe hardware (in sommige gevallen) zo terugverdiend
Als iemand anders het zelf wil berekenen, 1 Watt 24/7 is 8,76 kWh per jaar, en aan 80ct/kWh € 7 per jaar.
Dat is een voordeel van de hoge stroomprijs, je hebt nieuwe hardware (in sommige gevallen) zo terugverdiend
Als iemand anders het zelf wil berekenen, 1 Watt 24/7 is 8,76 kWh per jaar, en aan 80ct/kWh € 7 per jaar.
[ Voor 12% gewijzigd door Paul op 22-12-2022 13:03 ]
"Your life is yours alone. Rise up and live it." - Richard Rahl
Rhàshan - Aditu Sunlock
Alleen de IPMI (incl extra verbruik actieve poorten switch) is hier al 13.5W per server. Dus het doosje is al zuiniger dan IPMI van beide servers.:
Dat is een ontzettend interessant doosje... Ik heb een minder uitgebreide setup dan jij (Supermicro bord en E5-1620 v2), maar dat trekt ook minimaal 70W (of 600+ kWh). Als ik dat met 50W omlaag weet te brengen dan bespaar ik per jaar € 350 aan stroom
Dat is een voordeel van de hoge stroomprijs, je hebt nieuwe hardware (in sommige gevallen) zo terugverdiend
Te Koop:24 Core Intel Upgradeset
:strip_exif()/u/128173/crop59a1592e54731_cropped.gif?f=community)
After the first glass you see things as you wish they were. After the second you see things as they are not. Finally you see things as they really are, and that is the most horrible thing in the world...
Oscar Wilde
Dit zijn geen oude borden, hebben ASPEED AST2600 BMC.
Je moet ook niet vergeten dat er een dikke voeding in een server gaat (alleen al twee 225W TDP CPUs en een 260W TDP GPU) en die niet gemaakt is om super efficient te zijn op 1-2% load.
:fill(white):strip_exif()/f/image/fXZ9KyduRZD4oEA9Xij30VIb.png?f=user_large)
[ Voor 51% gewijzigd door |sWORDs| op 22-12-2022 14:45 ]
Te Koop:24 Core Intel Upgradeset
Voor mij de reden om er twee te kopen. Heb nu oude Xeon rommel en die vreet gemiddeld 200W en is 3x trager dan een modern doosje.
Als ik geen benchmarks op apparatuur vergelijkbaar met klanten zou moeten draaien en niet zou hoeven testen met GPUs zou ik ook terug gaan naar meerdere ‘kleine’ doosjes.:
[...]
Voor mij de reden om er twee te kopen. Heb nu oude Xeon rommel en die vreet gemiddeld 200W en is 3x trager dan een modern doosje.
Maar dit is een mooie tussenoplossing.
Te Koop:24 Core Intel Upgradeset
After the first glass you see things as you wish they were. After the second you see things as they are not. Finally you see things as they really are, and that is the most horrible thing in the world...
Oscar Wilde
Het mooie van die BMC is dat je er niet heen hoeft te lopen. Als dat wel moet voor een jumper kan je net zo goed een scherm en toetsenbord in prikken. 
https://www.cpubenchmark....0-v2-vs-AMD-Ryzen-7-5825U:
Dat is een ontzettend interessant doosje... Ik heb een minder uitgebreide setup dan jij (Supermicro bord en E5-1620 v2), maar dat trekt ook minimaal 70W (of 600+ kWh). Als ik dat met 50W omlaag weet te brengen dan bespaar ik per jaar € 350 aan stroom
Dat is een voordeel van de hoge stroomprijs, je hebt nieuwe hardware (in sommige gevallen) zo terugverdiend
Als iemand anders het zelf wil berekenen, 1 Watt 24/7 is 8,76 kWh per jaar, en aan 80ct/kWh € 7 per jaar.
En dat is met 15W settings, met 25W is ie nog een bakje sneller. Hoeveel geheugen heb je nodig?
Omdat de servers toch uit staan kan ik ze ook gewoon volledig van de stroom halen.
[ Voor 24% gewijzigd door |sWORDs| op 27-12-2022 13:26 ]
Te Koop:24 Core Intel Upgradeset
32 GB is waarschijnlijk genoeg; diskspace is eerder een issue, maar SSD's worden ook steeds goedkoper
Jammer dat 4TB SSD's (zeker NVME) een stuk duurder per GB zijn dan 2 TB's; het hoofd-doel is NAS, en RAW foto's zijn niet klein 
Misschien is het beter op zoek te gaan naar een los moederbord en mijn 4U kast aan te houden zodat er een aantal SATA SSD's in kunnen. Wordt ook de voeding minder efficient ben ik bang. Keuzes...
Moet het ding maar weer eens aanslingeren (we zijn momenteel redelijk heftig aan het verbouwen) en kijken hoeveel ik daadwerkelijk nodig heb voordat ik een besluit neem
"Your life is yours alone. Rise up and live it." - Richard Rahl
Rhàshan - Aditu Sunlock
Mooie / interessante "review"! 
Naar aanleiding van je post en de review op STH heb ik deze PC ook gekocht, dit ter opvolging van zowel mijn huidige HUNSN FNR-RS34 mini (router) PC, als de Intel NUC8i5BEK.
Ik ben benieuwd hoe dit gaat bevallen, zowel qua performance als qua stroomverbruik
Wel heb ik nog 1 vraagje; heb je ook een idee hoe lang de levering bij jou ongeveer duurde, ik heb voor "seller's shipping method" gekozen aangezien je dan minder risico hebt op douane kosten enz, nadeel hiervan is wel dat je geen tracking info oid hebt.
Naar aanleiding van je post en de review op STH heb ik deze PC ook gekocht, dit ter opvolging van zowel mijn huidige HUNSN FNR-RS34 mini (router) PC, als de Intel NUC8i5BEK.
Ik ben benieuwd hoe dit gaat bevallen, zowel qua performance als qua stroomverbruik
Wel heb ik nog 1 vraagje; heb je ook een idee hoe lang de levering bij jou ongeveer duurde, ik heb voor "seller's shipping method" gekozen aangezien je dan minder risico hebt op douane kosten enz, nadeel hiervan is wel dat je geen tracking info oid hebt.
Ongeveer een maand, van 21-11 tot 16-12, de geschatte leverdatum was de 13e December. De eerste zeven werkdagen waren voor het wachten op assemblage en testen, het is build to order.:
Mooie / interessante "review"!
Naar aanleiding van je post en de review op STH heb ik deze PC ook gekocht, dit ter opvolging van zowel mijn huidige HUNSN FNR-RS34 mini (router) PC, als de Intel NUC8i5BEK.
Ik ben benieuwd hoe dit gaat bevallen, zowel qua performance als qua stroomverbruik
Wel heb ik nog 1 vraagje; heb je ook een idee hoe lang de levering bij jou ongeveer duurde, ik heb voor "seller's shipping method" gekozen aangezien je dan minder risico hebt op douane kosten enz, nadeel hiervan is wel dat je geen tracking info oid hebt.
[...]
code:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
| IntervalWorkdays:11.4 StepCostDay:15.4 Status:Delivered Events:2022-12-16 12:33:31,the parcel has been delivered. OrignDest:CN→NL InShippingMethodName:YunExpress Registered Standard Status:Delivered15.4 Destination:NL Origin:CN 20 2022-12-16 12:33:31 the parcel has been delivered.----Wijchen 19 2022-12-16 07:49:16 the parcel is expected to be delivered during the day.----Wijchen 18 2022-12-16 02:26:42 the parcel has reached the parcel center.----Wijchen 17 2022-12-16 02:25:58 the parcel has reached the parcel center.----Wijchen 16 2022-12-15 15:53:40 the parcel has left the parcel center.----Amsterdam 15 2022-12-15 15:53:39 the parcel was handed over to gls.----Amsterdam 14 2022-12-15 11:12:35 delivery to local courier----NL0003 13 2022-12-15 11:11:35 Departed from Facility.----NL0003 12 2022-12-15 10:09:13 Arrived at Sort Facility.----NL0003 11 2022-12-14 17:18:56 Departed from Facility.----BE0001 10 2022-12-14 13:25:24 Processing in Facility----BE0001 9 2022-12-12 13:25:24 Arrived at Sort Facility.----BE0001 8 2022-12-12 10:58:15 Custom clearance completed----BE,Liege,BE 7 2022-12-11 15:55:00 Arrived at AIRPORT of Destination 6 2022-12-08 19:05:00 Departed from AIRPORT of Origin 5 2022-12-06 14:14:08 Arrive at international airport to abroad----China 4 2022-12-06 06:14:08 Departed Facility In processing center----dongguan 3 2022-12-05 16:54:24 Departed Facility in dongguan----dongguan 2 2022-12-01 03:10:22 Arrived at Sort Facility dongguan----dongguan 1 2022-11-22 15:17:57 Shipment information received |
Ik had hem besteld na het zien van de review op servethehome, maar er zaten wat opmerkingen in de review (koelpasta wel ok, geen verschil in performance met wattage opties, etc.) waar ik me niet ik kan vinden, vandaar mijn eigen review.
[ Voor 7% gewijzigd door |sWORDs| op 27-12-2022 18:03 ]
Te Koop:24 Core Intel Upgradeset
/u/114692/crop5d2eeb8cac79c_cropped.png?f=community)
:strip_exif()/u/301133/crop6737b754ae5aa_cropped.gif?f=community)
/u/216161/crop5daf72732a011.png?f=community)
Ik heb de startpost bekeken, maar de moederborden die daarin staan, zijn al net zo duur als deze hele setup mag kosten..
Als ik moederborden bekijk met de i219LM of i210 chips beginnen die al bij 200 euro. Uitgezonderd de Asus Pro H510M-C/CSM.
Zou dat bord, in combinatie met bijvoorbeeld een Intel Core i3-10105F een betere keus zijn?
:strip_exif()/u/10111/crop67d5f1a9809eb_cropped.gif?f=community)
4800Wp zonnestroom met Enphase
Life's a waste of time. Time's a waste of life. Get wasted all the time and you'll have the time of your life.
Hi,
Ik ben onlangs in een bedrijf gedropt geweest waar ze vanuit gaan dat de IT'er het wel allemaal kan en kent
We hebben hier 3 Dell's die met ESXI een cluster vormen. Ik zou voor in mijn homelab een vergelijkbare setup willen bouwen om te kunnen testen en leren. Het is dus allemaal nog héél nieuw voor mij.
Ik had gedacht aan 3x deze:
Is dit overkill voor wat homelab werk ? Zijn er dingen waar ik niet aan denk ? Werkt dit uberhaupt wel ?
Ik wil het graag zo budget vriendelijk mogelijk houden. Maar wel een degelijke setup hebben, zodat ik me kan focussen op vmware en niet moet bezig zijn met workarounds omdat ik niet compatible hardware gebruik (RPi bv.)
Alvast bedankt
Ik ben onlangs in een bedrijf gedropt geweest waar ze vanuit gaan dat de IT'er het wel allemaal kan en kent
We hebben hier 3 Dell's die met ESXI een cluster vormen. Ik zou voor in mijn homelab een vergelijkbare setup willen bouwen om te kunnen testen en leren. Het is dus allemaal nog héél nieuw voor mij.
Ik had gedacht aan 3x deze:
| # | Category | Product | Prijs | Subtotaal |
| 1 | Barebones | Intel NUC 12 Pro Kit NUC12WSKi3 (zonder stroomkabel) | € 355,99 | € 355,99 |
| 1 | Geheugen intern | Crucial CT2K8G4SFRA32A | € 42,20 | € 42,20 |
| 1 | Solid state drives | Samsung PM9A1 512GB | € 57,86 | € 57,86 |
| Totaal | € 456,05 | |||
Is dit overkill voor wat homelab werk ? Zijn er dingen waar ik niet aan denk ? Werkt dit uberhaupt wel ?
Ik wil het graag zo budget vriendelijk mogelijk houden. Maar wel een degelijke setup hebben, zodat ik me kan focussen op vmware en niet moet bezig zijn met workarounds omdat ik niet compatible hardware gebruik (RPi bv.)
Alvast bedankt
/u/59144/aMSN_96.png?f=community)
Even crosspost uit het zuinige server topic.
Mijn primaire ESXi server een kleine upgrade gegeven.
Intussen van ESXi 7 naar 8 gegaan, dit gaf geen voordeel qua stroomverbruik. Daarnaast 1 3TB seagate HDD eruit gehaald omdat de performance echt heel slecht was en Xpenology niet optimaal presteerde.
De Samsung 4TB SATA SSD was beschikbaar voor 200 euro. Voor mij reden om deze te gaan plaatsen.
Aangesloten apparatuur:
USB hub met daarop:
Actuele VMs:
Gemiddeld 2W omlaag, prima resultaat.
Mijn primaire ESXi server een kleine upgrade gegeven.
Intussen van ESXi 7 naar 8 gegaan, dit gaf geen voordeel qua stroomverbruik. Daarnaast 1 3TB seagate HDD eruit gehaald omdat de performance echt heel slecht was en Xpenology niet optimaal presteerde.
De Samsung 4TB SATA SSD was beschikbaar voor 200 euro. Voor mij reden om deze te gaan plaatsen.
| # | Category | Product | Prijs | Subtotaal |
| 1 | Overige software | VMWare ESXi 8 | € 0,- | € 0,- |
| 1 | Barebones | Intel NUC 10 Performance BXNUC10I5FNHN (EU-stekker) | € 340,01 | € 340,01 |
| 1 | Externe harde schijven | Seagate Expansion Portable 3TB Zwart | € 0,- | € 0,- |
| 1 | Geheugen intern | Crucial CT32G4SFD8266 | € 104,47 | € 104,47 |
| 1 | Solid state drives | Samsung 870 QVO 4TB | € 229,60 | € 229,60 |
| 1 | Solid state drives | Samsung 980 1TB | € 56,43 | € 56,43 |
| Bekijk collectie Importeer producten | Totaal | € 730,51 | ||
Aangesloten apparatuur:
USB hub met daarop:
- P1 kabel
- Sonoff dongle
- Conbee stick
- Bluetooth adapter
- UPS USB kabel
Actuele VMs:
- Windows Server tbv ADDS
- Windows Server tbv Veeam backup /management
- HASSos
- Ubuntu server tbv DSMR
- Ubuntu server tbv Docker
- Xpenology
:no_upscale():strip_icc():fill(white):strip_exif()/f/image/6IstbJXoqPAF4FYVEDFGe3Ky.jpg?f=user_large) | :no_upscale():strip_icc():fill(white):strip_exif()/f/image/rPbWMUsryXoZuKgjwMttDm2v.jpg?f=user_large) |
Gemiddeld 2W omlaag, prima resultaat.
Alles went behalve een Twent.
⏩ PVOutput☀️
:strip_icc():strip_exif()/u/146731/crop562615a0aa64c.jpeg?f=community)
Ik heb een Dell Optiplex 5060 Micro gekocht waar ik ESXi 8 (ESXi-8.0U1-21495797-standard) op heb geïnstalleerd. Dit lijkt prima te werken 
Idle verbruik in ESXi zonder VM's en met alleen stroom (Dell 90W adapter) + netwerk aangesloten is 8.2 Watt (gemeten met een uitvoering: Brennenstuhl PM 231 E)
ESXi staat op de interne M.2 disk en er zitten twee geheugenstrips in, CPU is een i5-8500T.
Settings qua powersaving in ESXi nog helemaal default (=balanced).
Idle verbruik in ESXi zonder VM's en met alleen stroom (Dell 90W adapter) + netwerk aangesloten is 8.2 Watt (gemeten met een uitvoering: Brennenstuhl PM 231 E)
ESXi staat op de interne M.2 disk en er zitten twee geheugenstrips in, CPU is een i5-8500T.
Settings qua powersaving in ESXi nog helemaal default (=balanced).
[ Voor 3% gewijzigd door ThinkPad op 23-05-2023 13:39 ]
Met de power management in ESXi op 'Low power' zakt het naar 7,9W / 8,0W
Genoemde opties staan allemaal aan in BIOS.
Ben nu via SCP van m'n oude ESXi host even wat ISO's aan het overzetten naar deze nieuwe host. Stroomverbruik is dan 14,6W.
Met 3-4 VM's (met weinig load) draaiende schommelt het tussen 10-11W.
[ Voor 26% gewijzigd door ThinkPad op 25-05-2023 13:15 ]
:strip_exif()/u/11342/S_borg98.gif?f=community)
You need the computing power of a P1, 16 MB RAM and 1 GB Harddisk to run Win95. It took the computing power of 3 Commodore 64 to fly to the Moon. Something is wrong here, and it wasn't the Apollo.
:strip_icc():strip_exif()/u/234232/crop6342d2d18b1af_cropped.jpg?f=community)
/u/170728/owl.png?f=community)
@ChrisVrolijk
Mwoah, daar staan systemen in van het jaar kruik die niet meer geupdated zijn. 60W of 100W dacht ik dat daar nog zag voorbij komen. Anno 2023 zitten we met systemen van 10 à 15W.
En toch: we zijn er wel wat attent op dat niet alles hier i7 en i9's zijn omdat we vaak mensen een spiegel voor willen houden "heb je dat echt nodig". Je kan het mensen dan ook niet kwalijk nemen dat ze je die kritische vraag stellen. Nu kijk, we bepalen hier ook niet voor iemand of hij beter een Renault Clio, Dacia Spring, Volkswagen Passat of BMW 5, Volvo FH of Scania 730S moet rijden, maar als je komt vragen hoe je zuinig kan rijden dan zal de vraag ook gesteld worden wat je effectief nodig hebt en dan is het niet gek dat iemand vraagt "Ehm, dus voor 1 of 2 keer per jaar op reis te gaan wil je een vrachtwagen kopen?"
Bij jouw setup is er weinig zuinigheid aan de dag. Ja je virtualiseert en kan daarmee zeggen: ik "draai X aantal VM's dus dat zijn 20 computers die ik niet meer fysiek moet draaien" maar dat is via virtualisatie jezelf zuinig rekenen, niet zo min mogelijk Watt uit het stopcontact trekken. Beetje hetzelfde als een vrachtwagen die voor 40 ton te trekken 30L/100km verbruikt, dat is per ton minder dan een auto maar je verbruikt nog steeds 30L voor in dit geval 2 koffers en een kastje te transporteren...
Dan heb je evt nog het voordeel (maar ik ben daar niet zo diep mee bekend) dat alles van Intel in idle en die race to idle daardoor redelijk zuinig is, maar met ESXi er dan weer boven op gaat dat snel terug omhoog. Anderen in het topic hier weten daar veel meer van dan ik. @FireDrunk kan je daar heel wat over vertellen icm andere C/P states specialisten.
Hier draaien twee machines op basis van een i3 en die verbruiken tesamen een 24W. Ik meen mij te herinner dat mijn ESXi 9 à 11 à 13W verbruikt...
En 10W voor een kaart
, die kaart verbruikt dan evenveel als mijn server ongeveer?
Ik blijf er bij dat je beter af bent met een kleine 24/7 machine op basis van bv een i3 of i5 met goed wat geheugen en dan alles van je lab omgeving draait op die andere hosts en die gewoon aan en uit zet wanneer je wil klussen.
Je bent eigenlijk op zoek naar "een whitebox ESXi", maar van zuinigheid is er hier geen sprake. Ik zie ook weinig empirische onderbouwing om voor die CPU te gaan buiten "die zal zeker voldoen" op basis van gevoel of het getalletje achter de i. Als je op dit moment al wat hebt draaien zou je eventueel wat statistieken en CPU ready times kunnen laten zien en daarmee vergelijken maar voorlopig is het een guesstimate imho.
Dus neen, het is niet de efficientste, sorry.
Mwoah, daar staan systemen in van het jaar kruik die niet meer geupdated zijn. 60W of 100W dacht ik dat daar nog zag voorbij komen. Anno 2023 zitten we met systemen van 10 à 15W.
En toch: we zijn er wel wat attent op dat niet alles hier i7 en i9's zijn omdat we vaak mensen een spiegel voor willen houden "heb je dat echt nodig". Je kan het mensen dan ook niet kwalijk nemen dat ze je die kritische vraag stellen. Nu kijk, we bepalen hier ook niet voor iemand of hij beter een Renault Clio, Dacia Spring, Volkswagen Passat of BMW 5, Volvo FH of Scania 730S moet rijden, maar als je komt vragen hoe je zuinig kan rijden dan zal de vraag ook gesteld worden wat je effectief nodig hebt en dan is het niet gek dat iemand vraagt "Ehm, dus voor 1 of 2 keer per jaar op reis te gaan wil je een vrachtwagen kopen?"
Bij jouw setup is er weinig zuinigheid aan de dag. Ja je virtualiseert en kan daarmee zeggen: ik "draai X aantal VM's dus dat zijn 20 computers die ik niet meer fysiek moet draaien" maar dat is via virtualisatie jezelf zuinig rekenen, niet zo min mogelijk Watt uit het stopcontact trekken. Beetje hetzelfde als een vrachtwagen die voor 40 ton te trekken 30L/100km verbruikt, dat is per ton minder dan een auto maar je verbruikt nog steeds 30L voor in dit geval 2 koffers en een kastje te transporteren...
Dan heb je evt nog het voordeel (maar ik ben daar niet zo diep mee bekend) dat alles van Intel in idle en die race to idle daardoor redelijk zuinig is, maar met ESXi er dan weer boven op gaat dat snel terug omhoog. Anderen in het topic hier weten daar veel meer van dan ik. @FireDrunk kan je daar heel wat over vertellen icm andere C/P states specialisten.
Hier draaien twee machines op basis van een i3 en die verbruiken tesamen een 24W. Ik meen mij te herinner dat mijn ESXi 9 à 11 à 13W verbruikt...
En 10W voor een kaart
, die kaart verbruikt dan evenveel als mijn server ongeveer? Ik blijf er bij dat je beter af bent met een kleine 24/7 machine op basis van bv een i3 of i5 met goed wat geheugen en dan alles van je lab omgeving draait op die andere hosts en die gewoon aan en uit zet wanneer je wil klussen.
Je bent eigenlijk op zoek naar "een whitebox ESXi", maar van zuinigheid is er hier geen sprake. Ik zie ook weinig empirische onderbouwing om voor die CPU te gaan buiten "die zal zeker voldoen" op basis van gevoel of het getalletje achter de i. Als je op dit moment al wat hebt draaien zou je eventueel wat statistieken en CPU ready times kunnen laten zien en daarmee vergelijken maar voorlopig is het een guesstimate imho.
Dus neen, het is niet de efficientste, sorry.
[ Voor 7% gewijzigd door HyperBart op 20-10-2023 10:27 ]
Die NUC is natuurlijk ook al een paar jaar oud en je zit daar met maar 2 cores en 4 threads. Mijn eerder besproken i3 zijnde de 9100 zit al met 4 cores maar dan zonder HT.
Ja, die tellen niet mee, je hebt dus eigenlijk netto maar 2 cores.
Een leukere lijst is die van een ander (Duits) forum. Reddit loopt nu niet bepaald over van de types die zich veel aan trekken van verbruik. En zoals je zelf al aangeeft (en mijn vermoedens bevestigt): "ik heb deze gezien, die werkte dus ik heb die overgenomen".
https://docs.google.com/s...odvwZpQZKv_NCI/edit#gid=0
https://www.hardwareluxx....-30w-idle.1007101/page-96
Je hebt dus nu een CPU met 10 (!) cores waarbij iedere core volgens Passmark dubbel zo goed presteert.
https://www.cpubenchmark....-6260U-vs-Intel-i9-10850K
Ik kan je geen CPU advies geven want ik moet ook altijd even ten rade gaan bij verschillende mensen hier maar ik zou toch echt wel eens de vraag hier stellen om samen te zoeken naar een ander gevalideerd zuinig bordje, de nieuwe variant van en vergelijkbaar met de koning der zuinigheid (die Fujitsu bordjes die ik heb) samen met iets à la i3 of i5.
:fill(white):strip_exif()/f/image/6kSBDFxL28uQnjxVYu2XPrBz.png?f=user_large)
Wenslijstje aanmaken in je profiel en dan genereer RML.
TDP is geen indicatie van het verbruik maar van de maximale warmte afgifte waarvoor de CPU ontworpen is.
Je hebt nu een T versie gekozen, waarschijnlijk door te gaan kijken naar TDP. T is een aanduiding van Intel om aan te geven dat het TDP beperkt is.
Dus de argumenten voor een i7 tov de i5 zijn invalide
Ok, dat was inderdaad geen eenvoudige, ik snap dat je die vraag stelt.
De Fujitsu bordjes die we bespraken worden door Kontron gemaakt. Ik ken de precieze historiek van dat bedrijf niet maar in alle geval hebben ze nu ook een pak meer bordjes die goed verkrijgbaar zijn bij wat webshops. Nog niet alles of altijd maar toch een pak beter. Maw "fujitsu = kontron".
Die borden zijn zo eenvoudig mogelijk en gebouwd met een lange levensduur indachtig. Prima materiaal voor ons Tweakers dus om thuis een server mee te bouwen.
Ik ben even mee aan het zoeken in het zuinige server topic.
Hier nog wat interessante dingen:
mrmrmr in "Het grote zuinige server topic - deel 3"
Mars Warrior in "Het grote zuinige server topic - deel 3"
M@NIC in "Het grote zuinige server topic - deel 3"
mrmrmr in "Het grote zuinige server topic - deel 3"
mrmrmr in "Het grote zuinige server topic - deel 3"
mrmrmr in "Het grote zuinige server topic - deel 3"
Je moet goed opletten dat je niet voor die CPU's gaat met E en P cores, ESXi vindt dat niet zo tof. Ik weet niet vanbuiten of dat al op i7 zit, ik geef het maar mee.
Daar is wel rond te werken maar het heeft dan geen voordeel meer, ik laat het links liggen.
Met het risico om je i7-drang toch wat "een fix" te geven
:Mars Warrior in "Het grote zuinige server topic - deel 3"
Reken je niet rijk in zuinigheid: @Mars Warrior gebruikt een "echt volledig" OS, met ESXi ligt je verbruik dus waarschijnlijk sowieso hoger en draai je niet in idle. Ik zeg dan: ga lager met je CPU en kijk naar i5, zoals die 12400 of ga ineens voor de 13de generatie.
In het topic zie je dat er vaak teruggegrepen wordt naar de oudere generaties omdat die te boek stonden als het zuinigste. Ik denk dat ik dat nu niet meer zou doen ("te oud" naar mijn gevoel) maar het kan wel...
[ Voor 51% gewijzigd door HyperBart op 20-10-2023 23:09 ]
:strip_icc():strip_exif()/u/94045/crop66c1b4250e8a2_cropped.jpg?f=community)
Vanaf 12-gen kun je E-cores hebben. Dat is bij die generatie vanaf de 12600K als ik het goed heb.
Wel jammer dan dat ESXi niet met E-cores om kan gaan: die zorgen er nu net voor dat je een echt zuinige server kunt bouwen, zolang je de E-cores wel beperkt in maximale frequentie: boven de 3Ghz beginnen ze te zuipen namelijk.
Een Kontron uATX bord icm een goed ingestelde CPU is een no-brainer als je een zuinige server wilt als het gaat om idle verbruik. Het daadwerkelijke verbruik is natuurlijk afhankelijk van de load, en de manier waarop de CPU cores staan ingesteld.Met het risico om je i7-drang toch wat "een fix" te geven
Mars Warrior in "Het grote zuinige server topic - deel 3"
Reken je niet rijk in zuinigheid: @Mars Warrior gebruikt een "echt volledig" OS, met ESXi ligt je verbruik dus waarschijnlijk sowieso hoger en draai je niet in idle. Ik zeg dan: ga lager met je CPU en kijk naar i5, zoals die 12400 of ga ineens voor de 13de generatie.
Nu heb ik er wel erg veel tijd ingestoken door ook te testen bij een hele serie maximale CPU/Core frequenties hoeveel energie (Joule) een vastgestelde taak kost om zo te achterhalen waar de 12700K (P en E cores) het meest efficient zijn. Je raadt het al: dat is rondom het punt als je de turbo uitzet
Daarnaast heb ik op die manier kunnen vaststellen waar het Kontron bord VRM's gaat bijschakelen, en dus meer overhead heeft om de CPU van stroom te kunnen voorzien. Met de combi die ik heb met een RM550X voeding (de zuinigste ATX voeding bij lage load, helaas niet meer verkrijgbaar) ligt het breekpunt op 80W PP (Package Power), zo'n 100W uit het stopcontact.
Aangezien ik Docker gebruik, kan ik heel eenvoudig via een cpuset bepalen op welke cores een container draait. Langdurige taken draaien namelijk veel efficienter op een E-core. Dat kan zomaar de helft aan energie schelen.
Op deze manier heb ik nu een gemiddeld Package Power gebruik van 1.8W met 30 containers.
Als ik dit topic echter ff doorblader, dan gaat dit met ESXi denk ik nooit lukken omdat je al gebruik maakt van VMs. Verder heb ik het "geluk" dat ik alles in docker containers kwijt kan. Dat kan natuurlijk lang niet altijd, zeker als je iets met Windows moet doen: dan moet je wel een VM gebruiken.
En wat betreft oudere generatie versus nieuwere generatie (met E-cores): mijn oude server deed 14W Idle, maar had een veel hogere load met ongeveer dezelfde software als ik nu heb. De nieuwe CPU's lijken daarmee een stuk efficienter, mits beperkt in maximale frequentie.
Mijn jaarlijkse besparing is daarom niet het verschil tussen 14W en zeg 4W (87kWh / jaar), maar ligt rond de 600kWh / jaar. Met een stroomprijs van €0,35 is dat €210 / jaar.
Geen idee welke van bovenstaande zaken ook goed toepasbaar zijn onder ESXi of op de VM's waar je bijvoorbeeld Docker containers in draait.
Material 3 Thema's voor HA | Swiss Army Knife custom card voor HA | AmoebeLabs
:strip_exif()/u/291260/crop676483f9433f8_cropped.webp?f=community)
de weg naar de top begint met de eerste stap, en als je er bent snel weer terug. reizen is leuker dan er zijn.
:strip_icc():strip_exif()/u/26028/penguin.jpg?f=community)
